Batch Loss Score：3行代码实现数据剪枝加速深度学习训练

动态数据剪枝——跳过信息量较少的训练样本——可以显著加速深度学习。但计算每样本损失代价高。BLS仅使用批量级统计和指数移动平均实现类似结果。

洞察

从单个样本的角度看，批量损失是其个体损失的噪声测量。EMA作为一阶低通滤波器，衰减这种噪声。

BLS如何工作

1. 跟踪批量损失的EMA — 正常训练中已有
2. 为单个样本分配分数 — 基于其随时间对批量损失的贡献
3. 剪枝低分样本 — 在未来训练迭代中跳过

关键优势

实际影响

BLS无需每样本重要性评分的基础设施复杂性即可实现数据剪枝好处。3行集成意味着任何现有训练管道都可以立即采用。