AI教学助手在真实大学考试中测试：使用与不使用的学生表现无差异

都柏林圣三一学院为硕士电影工程项目实施了基于RAG的AI教学助手（AI-TA），包括允许在开卷考试中使用——发现使用与不使用的学生之间没有统计上的表现差异。

实验

关键发现

1. 无考试表现差异 (p > 0.05) — 三次考试中使用AI-TA的学生与不使用的得分相同
2. 高满意度 — 平均评分4.22/5
3. 对人类导师偏好混合 — 平均2.78/5，学生仍重视人类互动
4. 精心设计的评估即使有AI访问也能保持学术有效性

为什么无差异结果很重要

这实际上是好消息：

• 评估设计有效 — 设计良好的考试即使有AI工具也能保持严谨
• AI作为补充而非拐杖 — 学生将AI用作助手而非学习的替代品
• 与N=1222研究对比 — 该研究显示AI损害独立表现；本研究表明精心设计的评估可以缓解该风险

教育启示

• 考试中的AI工具 — 可以允许而不降低评估质量
• 特定课程AI — 领域适配的AI-TA优于通用聊天机器人
• 学生接受度 — 高满意度表明AI-TA是可行的补充
• 人类导师仍受重视 — AI不能完全替代人类教学