iPhone 17 Pro 演示端侧运行 4000 亿参数大语言模型

一段演示展示了 iPhone 17 Pro 完全在端侧运行 4000 亿参数的大语言模型，标志着移动 AI 能力的重大里程碑。

这需要在移动内存中进行激进量化、高效的内存管理和硬件加速。如果苹果能流畅运行4000亿模型推理，将挑战 AI 模型必须在云端运行的假设。