PrismML Bonsai 8B：加州理工创业公司发布1.15GB的1位量化大模型，笔记本即可运行

仅1.15GB模型挑战大型模型需要大规模计算的传统假设

PrismML，一家与加州理工学院 affiliated 的创业公司，发布了Bonsai 8B，一个1位量化大型语言模型，将80亿参数模型压缩到仅1.15GB——小到足以在消费级笔记本和可能的边缘设备上运行。

技术突破

Bonsai 8B通过1位量化实现了卓越的效率：

• 模型大小：1.15GB（标准fp16 8B模型约16GB）
• 参数：80亿，量化为1位权重
• 压缩比：相比标准格式约14倍
• 目标硬件：消费级笔记本，潜在边缘设备
• 架构：基于transformer架构的新颖量化技术

为什么1位很重要

1位量化代表了模型压缩的极端端：

• 与fp16相比减少10-16倍的内存需求
• 使在没有专用GPU的硬件上进行推理成为可能
• 可能在智能手机和IoT设备上部署
• 大幅降低推理能耗
• 使本地AI推理对大众市场设备变得实际

权衡取舍

极端压缩带来预期的质量权衡：

• 1位模型在复杂推理任务中通常表现下降
• 细致的文本生成质量可能受损
• 多步推理链可能不够可靠
• 特定领域的微调在1位精度下更具挑战性
• 基准性能在不同任务类型间差异显著

市场背景

Bonsai 8B进入日益竞争激烈的小模型格局：

• Meta Llama 3 8B已提供4位量化变体
• 微软Phi-3 mini在38亿参数下提供有竞争力的性能
• Google Gemma 2B在紧凑外形中提供强大性能
• 苹果MLX生态系统针对Apple Silicon推理优化
• The Register报道对超紧凑模型边缘部署的兴趣日益增长

意义

Bonsai 8B代表了实用AI民主化的前沿。虽然1位量化可能无法在复杂任务上产生匹配全精度模型的结果，但它可以开启一类新的应用——AI推理完全在设备上运行，无需云依赖。对于隐私敏感应用、带宽受限环境和边缘计算场景，1.15GB模型开辟了以前不切实际的可能性。

来源：The Register https://www.theregister.com/2026/04/04/prismml_1bit_llm/ 和 PrismML