PrismML发布1-bit Bonsai 8B模型：体积缩小14倍，速度快8倍

加州理工AI初创公司隐身模式出山，突破量化技术瓶颈

源自加州理工的AI初创公司PrismML结束隐身模式，发布了一款1-bit大语言模型，在保持竞争性性能的同时大幅降低了LLM的算力需求。

Bonsai 8B 规格

• 内存占用：仅1.15 GB（标准8B模型为8-16 GB）
• 体积缩减：比全精度版本小14倍
• 速度：在边缘设备上快8倍
• 能效：提高5倍
• 智能密度：比全精度版本高10倍
• 架构：每个权重仅用{-1, +1}表示，配以共享的组尺度因子

工作原理

传统LLM权重使用16位或32位浮点数。PrismML Bonsai架构仅用权重符号——正或负——来表示每个权重，同时为权重组存储共享尺度因子。这种极限量化大幅降低了内存和计算需求。

为什么重要

如果1-bit模型能提供竞争性质量，它可能变革AI部署方式：

• LLM可在手机和边缘设备上运行，无需依赖云
• 大幅降低云提供商的推理成本
• 模型完全在设备上运行，隐私性更好
• 在资源受限环境中民主化AI能力访问

市场背景

随着各公司寻求降低大规模运行LLM的巨大能耗和算力成本，高效AI模型的竞赛愈演愈烈。微软BitNet、各种量化方案以及现在PrismML的1-bit方法代表了解决同一根本问题的不同途径：让AI更易获得、更经济实惠。

来源：The Register https://www.theregister.com/2026/04/04/prismml_1bit_llm/