RL 环境
什么样的 RL 任务环境才算可重置
可重置环境需要恢复与任务相关的状态 重启容器只是其中一种操作 交付时还应明确恢复哪些内容 保留哪些内容以及如何确认环境已经就绪
先定义重置边界
列出执行中可能改变的状态位置 包括挂载文件 数据库 缓存凭证 后台任务和外部服务 为每一项明确负责人及重置方式 无法重置的远程依赖应说明如何处理其变化
Harbor 通过构建配置与沙箱资源描述任务环境 可作为实现参考 下方重置验收流程是交付检查建议 并非容器镜像天然具备的保证
参考来源 · Harbor · Task environment
把重置约定写进交付说明
| 状态 | 预期重置行为 |
|---|---|
| 工作区文件 | 恢复约定源码版本并清理本轮产物 |
| 应用数据库 | 重新加载样本并检查记录标识 |
| 服务与队列 | 重启工作进程并清理未完成任务 |
| 外部依赖 | 使用受控样本或说明仍存在的变化 |
| 证据存储 | 在被重置的任务状态之外保留历史证据 |
通过主动改变状态验证重置
从新环境开始记录与任务有关的关键约束 通过 Agent 可用工具主动改变状态 然后执行文档中的重置步骤并比较约束 在失败或中断后也重复检查 因为清理路径可能与成功完成时不同
以自拟订单管理任务为例 可以检查初始订单数量 下一个可用编号以及待处理队列是否为空 首页截图一致并不能证明底层记录已恢复
区分起点一致与过程完全确定
等价初始条件不意味着每次 Agent 执行路径完全相同 模型采样和允许的时间差异仍可能改变过程 应将变化来源与环境版本一起记录 便于理解比较条件
验收可运行交付包前应获取初始化步骤 就绪检查 重置说明和验证器调用方式 在全新会话中复验 避免依赖作者留下的状态 如果无法复现重置应单独记录为环境交付问题