数据完整性
每条有效输入在规范化结果中都有对应记录
Terminal-Agentic
终端任务与长程 Agent 工作流
Terminal-Agentic 数据记录终端环境中的多步骤任务 工具反馈 检查点与失败恢复轨迹 Terminal-Bench 等公开基准仅作为评测参考 不作为此处提供的训练数据
看懂一项任务如何成为训练数据
从任务上下文到执行记录与验收设计 了解一份数据交付的组成
合成演示示例
为官网展示自拟的任务 不包含客户数据或在售数据集样本
任务输入包含什么
任务将初始上下文 明确目标与可观察的完成条件关联起来
task恢复跨阶段事件处理工作流
context离线沙箱 · 任务依赖 · 持久化检查点
target在诊断 恢复与最终验证之间保持完整任务状态
acceptance数据完整性 / 恢复一致性 / 重复执行 / 阶段可追溯
阶段依赖 检查点与恢复条件让多步骤任务保持状态连续
数据交付结构一览
以下合成目录展示记录与证据如何关联 正式交付范围需在项目中约定
task.json- 任务目标 约束与阶段依赖
environment/manifest.json- 初始状态与环境依赖
trajectory.jsonl- 命令 观察与恢复操作
checkpoints/state-index.json- 执行阶段之间的状态索引
artifacts/output-manifest.json- 结果文件与任务关联
verification/report.json- 完成检查与证据索引
轨迹字段 task_id / step_id / action_summary / observation_summary / evidence_ref
示例验收条件 · 数据完整性 / 恢复一致性 / 重复执行 / 阶段可追溯
了解任务结果验证方法围绕你的目标任务了解数据
联系沟通相关样本 任务范围与交付格式
数据类型
- 终端任务执行轨迹
- Marathon / 长程 Agent 任务
数据交付包含什么
任务定义与初始环境状态
命令执行、工具使用与环境反馈轨迹
任务产物与完成状态检查
交付包含 Schema、使用文档、授权边界及在项目启动时约定的质量报告
交付前评估
长程任务的交付范围怎么定
围绕跨阶段状态连续性 确认任务操作 恢复记录与最终结果 明确采集范围和完成条件
环境与工具版本
初始文件 工具与配置如何确定 Agent 与环境版本如何记录
对应查看哪些材料环境清单 · 初始状态 · 执行配置
阶段依赖与任务跨度
哪些阶段依赖先前产物 哪些任务状态需要跨阶段保留
对应查看哪些材料阶段目标 · 依赖关系 · 状态索引
工具调用与环境反馈
命令 输出 错误与观察如何排序 并关联到同一任务及执行阶段
对应查看哪些材料任务与步骤标识 · 命令记录 · 环境观察
检查点与失败恢复
中断时保存哪些状态 如何区分恢复操作与已完成产物 避免把重复执行误判为新进展
对应查看哪些材料检查点索引 · 失败事件 · 恢复记录
验收标准与时间口径
阶段检查与最终状态如何定义完成 分别记录执行上限与实际耗时
对应查看哪些材料阶段检查 · 最终状态证据 · 耗时定义
数据划分与交付边界
关联工作流如何划分训练与评测集合 每次交付确认 Demo 覆盖范围与允许用途
对应查看哪些材料划分规则 · 输入字段边界 · 试样范围
任务时长的三种口径
- 执行上限
- 执行被终止前允许使用的时间预算
- 实际耗时
- 一次执行记录中的实际用时 需说明暂停与重试如何计入
- 专家工时估计
- 对人工完成任务所需投入的估计 需注明估算依据
描述任务时长时需注明使用哪种口径 以上定义不代表合成演示的实测耗时
从目标任务开始沟通
告诉我们希望评估的能力 任务类型和交付格式 一起明确 Demo 范围与验收要求
以上为交付评估要点 具体字段 材料与使用范围按项目约定
从数据需求到完成交付
01
明确数据需求
02
采集真实任务
03
记录专家过程
04
组织轨迹数据
05
独立验证质量
06