自适应学习中的数据归因：当AI生成自己的训练数据时标准方法为何失效

随着ML模型越来越多地生成自己的训练数据——通过在线bandit、强化学习和语言模型的后训练流水线——标准数据归因方法变得根本不可靠。

问题

标准数据归因方法假设静态数据集。但在自适应学习设置中：

• 单个训练观察同时更新学习器并改变未来数据的分布
• 这个反馈循环使静态归因假设无效

形式化结果

论文证明"重放侧信息通常无法恢复出现级归因"——这是基本不可能性结果。

何时有效

研究者识别了一类特定的自适应学习问题结构，其中目标可以从日志数据中识别——为标准归因何时仍可应用提供了有原则的条件。

为什么重要

这越来越相关，因为AI训练从静态数据集转向动态、自生成的数据：

• RLHF — 在自身输出上训练的模型
• 宪法AI — 迭代自我改进
• 在线学习 — 从用户交互持续适应的模型
• 自我博弈 — 生成训练对局的博弈AI

启示

• 现有归因工具在自适应设置中可能给出误导性结果
• 现代AI训练流水线需要新的归因框架