GUI Agent
GUI Agent 数据如何对齐观察 动作与结果
GUI 轨迹不能只是一组截图 接收方需要知道 Agent 动作前看到了什么 以及动作后出现了什么状态 这种对齐关系决定了点击和输入记录能否被正确理解
记录动作发生前可见的状态
为每次观察设置标识 并让后续动作引用对应观察 记录应用窗口 视口尺寸与坐标体系 若截图经过裁剪还应保留裁剪原点 以便把点击映射回目标区域
OSWorld 在真实计算机环境中评测 Agent 并采用基于执行结果的评估方式 可作为关注任务结果的计算机操作评测参考 下方为本文提出的数据审核方法 并非 OSWorld 数据集字段规范
区分动作发出与动作完成
工具调用成功可能只表示输入已经发出 并不一定说明导航结束或对话框已经可用 应约定动作后的观察规则 例如等待指定状态出现 或明确记录超时
保留意外浮层 延迟响应和焦点变化的证据 如果清洗时删除这些状态 后续审核者可能误以为 Agent 点击了错误目标
检查一段合成表单提交流程
| 阶段 | 应保留记录 |
|---|---|
| 输入前 | 观察标识 视口与焦点字段 |
| 输入动作 | 目标字段与允许保存的文本形式 |
| 提交前 | 可见值与校验状态 |
| 提交后 | 结果观察与应用响应 |
| 结果检查 | 目标记录是否存在且没有重复 |
脱敏时保持对齐关系
对于上述自拟表单场景 可以在截图 动作记录和结果产物中一致替换个人信息 并记录替换边界 如果截图已脱敏但工具响应仍保留原值 处理就不完整
无法保留的观察应标记为缺失 不要用编造截图替代 需要确认剩余事件是否仍能支持目标用途 上下文缺失可能使原本有效的操作序列不适合特定训练方案
验收完整工作流
验收时应从应用初始状态追踪到最终验证 而不是孤立抽查截图 确认每个动作关联到可获得的观察 并确保重试仍属于同一任务 最终应得到可解释且明确标注缺口的工作流