安全数据
网络安全 Agent 任务数据如何定义边界
安全任务数据需要说明环境是什么 允许完成什么目标 依据哪些证据判断结果 从明确的授权任务边界出发 让安全审核者和模型开发者都能理解交付内容
先说明要评测哪类工作
安全分诊 漏洞分析 修复与恢复会产生不同产物 分诊可能以有依据的发现结束 修复则需要实际改动及必要功能保持正常的证据 不要用宽泛的 Cyber 标签代替具体目标
CyberGym 是面向真实漏洞分析任务的评测框架 可作为这一任务类型的公开参考 提及该名称并不表示供应商拥有其中任务或可将其作为商业训练材料重新分发
明确授权环境范围
| 边界 | 需要确认的问题 |
|---|---|
| 目标系统 | 哪些实验服务及版本属于任务范围 |
| 允许动作 | 允许哪些调查与修改动作 |
| 网络访问 | 哪些访问目标可用或被阻断 |
| 数据处理 | 哪些日志与产物允许交付 |
| 完成条件 | 什么证据能够证明约定结果 |
用有限范围的防御任务说明结构
以自拟服务配置任务为例 某个高权限路由对测试账号开放 Agent 在受控样本中修正访问行为 审核者既检查权限限制是否生效 也确认正常授权请求仍可使用
证据应包含修改前后状态及测试账号角色 单次拒绝访问不能说明服务已修复 也可能只是服务停止响应 因此需要另行记录健康检查与预期允许请求
区分安全结论与环境故障
服务不可用 样本缺失或凭证失效可能阻止有效执行 应把这些问题与安全判断错误分别分类 保留足够的初始化证据 使接收方无需依赖外部真实目标也能复现问题
批次审核时应检查同一个环境缺陷是否影响多个任务 如果多个失败都来自相同缺失依赖 就不能将其解释为多个独立能力缺口
围绕约定目标索取证据
有效 Demo 需求应说明任务类型 隔离环境形式 允许保留的证据以及验收方法 并确认如何保留初始状态和验证器版本 公开 Benchmark 参考与拟交付商业数据的来源及使用范围应分别说明