Coding 数据
代码语料 Coding 任务与 Agent 轨迹如何选择
选择 Coding 数据首先要明确目标能力 代码语料保留源码模式 任务包定义需要完成的工作 轨迹记录一次执行过程 三者适用性取决于后续训练或评测流程如何使用它们
按可观察证据比较数据形式
| 形式 | 保留的信息 | 仍需检查 |
|---|---|---|
| 代码语料 | 源码内容与仓库上下文 | 来源 允许用途 重复度与解析质量 |
| 可执行任务 | 起始状态 目标与完成检查 | 环境恢复与任务可完成性 |
| 执行轨迹 | 动作 观察与结果产物 | 事件对齐 缺失步骤与结果证据 |
从缺少的学习信号出发
如果目标流程需要源码结构样例 可以评估仓库语料 如果需要观察改动如何完成 应检查示范或 Agent 轨迹 如果需要反复交互并获得结果反馈 则应评估可运行任务与环境
这些是选型问题 并不表示某种形式一定带来更大的模型提升 有效试采应检查真实数据接入流程 并在训练改动前确定留出评测方法
不要默认数据形式可以直接互换
最终补丁不会展示开发过程中的全部观察 终端日志可能缺少标准输出之外生成的文件 仓库压缩包也可能缺少执行测试所需依赖 接受交付形式前应检查获得目标信号还需哪些转换
例如自拟缺陷修复补丁可以说明预期改动 却不能证明某个 Agent 确实发现问题或运行过测试 官网中的合成预览用于解释交付结构 向技术审查者转发时也应保留未执行标识
保留训练与评测边界
Terminal-Bench 明确要求其 Benchmark 数据不得进入训练语料 可以参考其评测设计 但应单独记录拟交付训练材料及允许用途
把 Demo 需求说具体
明确的需求应包含目标行为 数据形式 计划使用的训练阶段与验收证据 同时询问当前已有字段 需要额外采集的字段以及不在交付范围内的内容 这样比单纯询问代码 Token 数量更便于评估