科学家发明虚假疾病'Bixonimania'——AI系统在数周内开始诊断它
Available in: 中文
瑞典哥德堡大学团队发明了名为"Bixonimania"的完全虚构皮肤病,并上传了关于它的虚假研究论文。数周内,主要AI聊天机器人开始将其作为真实疾病进行诊断。更令人不安的是:虚假论文随后被同行评审文献引用。
瑞典哥德堡大学团队发明了名为"Bixonimania"的完全虚构皮肤病,并上传了关于它的虚假研究论文。数周内,主要AI聊天机器人开始将其作为真实疾病进行诊断。更令人不安的是:虚假论文随后被同行评审文献引用。
实验
- 发明者 — 哥德堡大学医学研究员Almira Osmanovic Thunström
- 虚假疾病 — Bixonimania,虚构皮肤病,导致眼睛酸痛、发痒、眼睑粉红色
- 虚假作者 — Lazljiv Izgubljenovic(AI生成照片)
- 虚假论文 — 2024年4-5月上传到SciProfiles的两篇预印本
发生了什么
- 上传数周后 — 主要LLM开始重复该虚构疾病
- 数月内 — 虚假论文被同行评审文献引用
- 含义 — 一些研究者在引用AI生成的参考文献时未验证原始论文
更深层的问题
这个实验揭示了级联失败:LLM抓取预印本服务器和博客 → 用户向聊天机器人询问医疗建议 → 聊天机器人反刍虚假信息 → 研究者引用AI生成的参考文献而不验证 → 错误信息成为学术记录的一部分。
为什么重要
随着AI聊天机器人日益成为医疗信息门户,Bixonimania实验展示了捏造信息多么容易进入AI知识管道并成为"事实"。
← Previous: Tailslayer: C++ Library for Eliminating Tail Latency in RAM ReadsNext: Federal Court Rules Prediction Market Sports Bets Are 'Swaps' — Exempt from State Gambling Laws →
0