GUIDE框架：通过层级诊断实现GUI Agent的可解释评估

新框架GUIDE（GUI理解和可解释诊断评估）解决了AI Agent开发中的根本挑战：如何有意义地评估在长时间复杂任务序列中导航图形用户界面的Agent。

问题

当前GUI Agent评估方法有显著局限：

• 整体判断 — 对整个多步骤轨迹单一通过/失败判定
• 无失败洞察 — 二元结果无诊断价值
• 长任务不可靠 — 复杂多步骤任务上精度下降
• 黑盒评估 — 不理解Agent在哪里或为什么失败

GUIDE如何工作

GUIDE将轨迹评估分解为三个阶段：

1. 轨迹分割

将完整Agent轨迹分割为语义连贯的子任务单元。

2. 子任务诊断

在上下文中评估每个单元，提供：

• 完成判定（成功/失败/部分）
• 结构化错误分析
• 修正建议

3. 整体总结

将子任务诊断汇总为任务级判断，识别具体失败点。

为什么重要

通过评估有界子任务段而非完整轨迹，GUIDE：

• 减轻长度效应、提供可操作反馈、实现针对性迭代、使进度可衡量

实际影响

对于构建GUI Agent的团队，GUIDE将评估从"它工作了吗？"转变为"它到底在哪里失败了以及如何修复？"——这是实际Agent开发中的关键区别。