如果 AI 不需要更多内存而是需要更好的数学？AI 扩展的新视角

问题

Adrián L 在 Substack 上发表了一篇发人深省的文章，挑战了 AI 进步需要更多计算和内存的主流假设。它提出：如果关键突破在于更好的数学基础呢？

当前范式

AI 扩展的主流方法很简单：更多参数→更强能力，更多训练数据→更好性能，更大模型→更好结果。这种「缩放定律」思维推动了数百亿美元的 GPU 支出和大规模数据中心建设。

替代视角

数学创新可以事半功倍：

更好的算法胜过蛮力

• 稀疏注意力机制已将内存需求降低数个数量级
• 混合专家（MoE）模型每个 token 只激活部分参数
• 量化技术允许更小的表示而不显著损失质量
• 新架构（SSM、线性注意力）可能从根本上改变计算方程

数学基础

• 数论和抽象代数在神经网络中的应用
• 拓扑数据分析理解模型行为
• 信息论方法实现高效学习

为什么现在重要

• 能源约束：AI 数据中心已消耗大量电力
• 成本上限：并非所有人都能负担前沿规模训练
• 收益递减：缩放定律可能不会无限持续
• 民主化：数学创新可自由共享，而 GPU 集群不能

历史对照

密码学中因式分解看似不可能直到高效算法出现；优化中内点法革命性地改变了线性规划；压缩中算术编码通过数学洞察达到理论极限。

核心问题不是是否需要更多计算——而是我们是否在尽可能智能地使用已有的计算。在 Hacker News 上获 45 分。