检测 AI 生成文本：技术现状与为何仍是未解难题

Hacker News 上一个热门 Ask HN 帖子重新点燃了 AI 领域最具后果性的辩论之一：如何可靠地检测大语言模型生成的文本？社区的简短回答是：我们仍然做不到——而且可能永远无法高置信度地做到。

为什么检测如此困难

根本问题

LLM 一次一个 token 地生成文本，每个词的选择基于从人类书写的训练数据中得出的概率分布。输出的设计本身就与人类写作在统计上相似。这造成了一个悖论：AI 写得越好，就越难与人类输出区分。

军备竞赛动态

每个发布的检测方法都会被迅速击败：

1. 统计方法（困惑度、突发性）——通过对 AI 输出进行人工编辑或调整模型温度来击败
2. 水印——通过改写、翻译或使用无水印模型来击败
3. 分类器模型——通过对抗性提示工程来击败
4. 元数据分析——通过去除元数据或使用多样化的生成源来击败

人类因素

人类在检测 AI 文本方面表现极差。多项研究一致表明：

• 普通人的表现仅略好于随机猜测
• 即使是 AI 研究人员在盲测中也很难区分 GPT-4 输出和人类写作
• 检测的信心度与准确率相关性很差

当前检测格局

商业工具

开源方案

• GLTR：可视化 token 概率分布
• DetectGPT：使用对数概率曲率识别 AI 文本
• 基于 RoBERTa 的分类器：各种社区训练模型

所有这些都有已知的失败模式，可以轻易击败。

现实世界的影响

学术界

大学在应对 AI 辅助抄袭方面面临困境。检测工具标记无辜学生，同时漏掉精明的 AI 使用者。误报可能毁掉学术生涯。

内容平台

媒体、发布平台和社交网络希望识别 AI 生成内容以进行披露。但大规模检测没有可靠方法。

法律和监管

多个司法管辖区正在考虑 AI 内容披露法律。没有可靠的检测手段，执法就不可能实现。

网络安全

AI 生成的钓鱼邮件、虚假信息和社交工程攻击日益成熟。检测工具无法可靠地区分它们与合法的人类通信。

HN 社区观点

• "检测从根本上是不可能的"：多位评论者认为，随着 AI 模型训练更多人类文本，分布将完全重叠
• "关注来源而非检测"：共识方案是关注内容的来源追踪（如 C2PA 等数字签名、内容来源标准），而非事后检测 AI
• "猫已经出笼了"：务实的观点是社会需要适应 AI 文本存在的世界，而非试图将其过滤掉

什么真正有效

最有前景的方法：

1. C2PA 内容来源：嵌入内容创建工具中的加密签名
2. 平台级检测：社交平台从行为模式（打字速度、编辑模式）而非文本分析中检测 AI 使用
3. 机构政策：关于 AI 使用披露的明确规则
4. 多模态分析：结合文本分析与元数据、时间和行为信号

未来

随着模型持续改进，人类和 AI 写作之间的差距只会缩小。检测问题最终可能不是通过分析文本来解决，而是通过改变内容创作周围的生态系统——通过来源标准、披露规范和机构适应。

HN 讨论帖：news.ycombinator.com/item?id=47659807