EFFLORA / 数据质量方法论
Agent 任务结果如何验证
将每项结果关联到任务条件 执行证据与验证器版本 区分训练输入和评判材料 在形成标签前核对失败原因
供数据采购与模型团队使用的评估方法 具体检查 划分规则和交付字段按项目约定
资料核对
先定义什么才算完成
先定义初始状态 允许的操作 预期变化和必须保持不变的条件 再对照这些条件检查代码 文件 记录或应用最终状态
Coding 任务需结合代码变更 相关测试与接口兼容性检查 长程任务则需要同时检查阶段依赖 检查点恢复和最终产物
技术参考 Harbor 将验证器定义为任务完成检查 并单独输出奖励结果 验证器文档 ↗
明确训练与评测的隔离边界
先确定划分单位
先确认关联仓库 任务家族或工作流是否属于同一组 再划分训练与评测集合 记录重叠检查的方法及覆盖范围
区分输入与评判材料
列明模型可访问的材料 按约定评测流程将保留参考实现 私有检查和仅用于评分的字段排除在输入之外
明确公开基准的用途
引用公开基准不等于可以将其中任务用于训练 需核对对应数据集的使用要求 并在交付中保留来源与用途说明
重叠检查有明确范围 需记录使用的来源 分组规则与检查方法 避免将有限检查表述为绝对零污染
Terminal-Bench 官方明确要求其基准数据不得进入训练语料 官方基准说明 ↗
让验证器版本与结果一起保留
使用带版本的结果记录 让任务 环境或检查逻辑的变化可追溯 以下字段说明需要记录的信息 不代表统一交付格式
- 任务版本
task_version - 目标 约束与验收定义
- 环境版本
environment_version - 初始状态与相关依赖
- 验证器版本
verifier_version - 检查实现 配置及适用时的评审标准
- 执行与证据关联
run_id / evidence_refs - 实际检查的执行记录及产物
- 验证状态
verification_status - 检查是否完成 是否运行异常 或是否待复核
- 结论与判定依据
outcome / reason - 每项条件的判定结果及对应证据
区分重新评分与重新执行
仅验证器发生变化 且所需产物完整保留并满足兼容任务条件时 可评估对原产物重新评分 保留旧结果并说明变更原因 若任务输入或环境变化 则需判断是否重新执行
Harbor 的重评功能适用于使用独立验证环境且仅验证器变化的任务 不代表所有 Efflora 交付均支持该流程 重新评分文档 ↗
保留失败证据 再判断原因
保留任务状态 操作与证据后 失败或中断记录才能用于分析数据质量问题 先区分观察到的事件 再判断记录是否适用于约定的训练或评测用途
任务未达标
检查正常完成 且证据表明某项必要条件未满足
保留未满足条件及对应产物 后续重试成功需另行记录
执行超时
执行达到预设时间预算
记录时间预算 停止位置和已有证据 不在缺少依据时推断具体失败原因
环境或依赖异常
配置 服务或工具异常可能影响有效执行
单独记录异常并复核归因 再决定是否计入模型失败统计
验证异常或证据缺失
检查程序异常 关键产物缺失 或评审存在分歧
标记为待复核 避免直接赋予通过或失败标签
恢复尝试需关联原执行记录 保留中断位置 修改内容与新的结果 专家评审需记录标准版本 证据及分歧处理结论
评估数据时确认这六个问题
- 这条结果对应哪个任务与环境版本
- 模型实际看到了什么 哪些材料仅供评判
- 每项结论能否关联具体检查与产物
- 标签由哪个验证器或评审标准版本生成
- 失败 待复核和恢复成功的执行如何区分
- 检查规则变化后 哪些结果需要重评或重跑