Google TurboQuant：新算法将 AI 内存占用降低 6 倍且零精度损失

Google Research 推出大语言模型极限压缩技术\n\nGoogle 发布了 TurboQuant，一种新型压缩算法，可将大语言模型的内存占用降低至少 6 倍，同时保持零精度损失——这一突破可能大幅降低大规模 AI 部署成本。\n\n### TurboQuant 原理\n\nTurboQuant 通过先进的量化技术缩小大语言模型存储的数据量。量化降低模型参数的精度（例如从 32 位降至 8 位或 4 位表示），同时保持模型产生准确输出的能力。\n\nTurboQuant 的关键创新在于其能够在不产生通常与激进量化相关的性能退化情况下实现极限压缩比。\n\n### 内存为何重要\n\n内存（VRAM）通常是 AI 部署的主要瓶颈：\n\n- 推理：以 FP16 精度运行 700 亿参数模型需要约 140GB VRAM\n- 训练：更大的内存需求使训练仅限于资金雄厚的组织\n- 边缘部署：更小的内存占用使 AI 在消费设备上成为可能\n\n通过 TurboQuant 6 倍的压缩，原本需要 140GB 的模型理论上可在约 23GB 中运行——使其在高端消费级 GPU 上变得可行。\n\n### 意义\n\n- 成本降低：推理工作负载需要更少的 GPU\n- AI 民主化：较小的组织也能部署大型模型\n- 边缘 AI：消费设备成为可行的 AI 平台\n- 可持续性：每次推理的能耗降低\n\n### 背景\n\nTurboQuant 属于 Google 更广泛的 AI 效率研究战略的一部分。公司一直在大力投资使 AI 更易获取，包括通过 Gemma 开放模型和 TPU 基础设施。\n\n来源: Google Research Blog