OpenAI 自动研究实习生的实验结果怎么验收？2026 清单

OpenAI 自动研究实习生验收不能把“任务完成”当成“实验结论有效”。最快的做法，是在正式放大并发前设置五道门槛：固定任务边界、干净环境复现、记录人工干预、建立产物溯源、使用第二执行环境独立复测；只要独立复测失败，结果就只能保留为研究线索。

这篇文章适合三类人：正在让 Codex 或其他研究 Agent 编写实验代码、运行评测的研究人员；负责容器、远程主机或云端 Mac 的平台工程师；以及决定实验能否扩大规模、进入核心训练流程的技术负责人。

最后更新于 2026 年 9 月 8 日，信息核实自 OpenAI 于 2026 年 9 月 6 日发布的研究说明、Codex 官方安全资料与 GitHub 官方制品溯源文档。

先锁定任务边界

OpenAI 对“自动研究实习生”的限定很关键：它描述的是在人类指导下执行定义清晰、原本可能需要熟练研究人员数日完成的任务，而不是让系统自主决定研究方向。OpenAI 同时说明，复杂任务仍需要人类引导，研究优先级、结果判断和是否扩大实验，仍由人负责。可参考 OpenAI 关于研究加速与自动研究实习生的原文。

因此，验收前不要只问“Agent 有没有跑完”。你要在启动前冻结以下内容：

• 输入假设：使用什么数据、模型、特征和初始条件。
• 数据版本：数据集提交标识、文件摘要或不可变存储位置。
• 成功条件：评测指标、允许误差、最低样本量和停止条件。
• 禁止操作：不得修改哪些数据、不得访问哪些凭据、不得绕过哪些评测步骤。
• 输出范围：哪些结果可以进入报告，哪些只能作为探索性观察。

如果 Agent 在执行中自行改写目标，或者关键条件只能从长对话上下文推断，结果就不具备正式验收前提。你可以允许它提出新假设，但必须把新假设另立为新任务，重新生成任务标识。

冻结复现环境

研究 Agent 的第一次运行更像探索，不应直接成为最终证据。你至少要记录代码提交、依赖锁文件、数据摘要、随机性设置、运行时版本、系统版本和环境镜像标识。

Codex 的官方资料显示，云端任务可以运行在隔离容器中，默认限制网络访问；本地 Mac 和 Linux 环境也会通过系统级机制限制文件写入与命令执行范围。相关边界可参考 Codex 系统卡中的沙箱说明、Codex CLI 的默认权限说明 和 Codex 安全运行实践。

这里要区分两种复现：

1. 同一工作区再次运行：可以发现脚本是否偶发失败，但仍可能继承缓存、未提交文件、临时服务和环境变量。
2. 干净环境重新构建：删除原工作区，只从固定提交、锁定依赖、数据摘要和环境说明重建，这是主要复现证据。

涉及 Xcode、macOS 工具链、桌面应用或本地模拟器的实验，建议把首次探索环境与复测环境分配到不同的 Mac 实例。原 Agent 留下的派生文件、编译缓存和模拟器状态，都不能当作复现条件。

执行独立复测

独立复测不是把同一条命令再按一次，而是让第二个执行环境根据固定说明重新完成构建和运行。它的目的，是排除 Agent 在第一次运行中进行隐性修补的可能性。

复测环境不得继承以下内容：

• 未提交的代码和补丁；
• 包管理器、编译器和模型下载缓存；
• 首次运行启动的临时数据库或后台服务；
• 长期有效的 API 密钥、SSH 凭据和个人配置；
• Agent 在对话中临时生成、但没有写入正式配置的参数。

复测时要比较的不只是最终数字，还包括输出文件、日志顺序、失败条件、警告信息和资源使用路径。如果只有原 Agent 能在原环境中得到结果，而第二环境无法重现，应把结论降级为“待调查线索”，不要继续增加并发或延长无人值守时间。

场景案例：一个 Agent 生成训练脚本后，首次运行显示评测指标提升。研究员发现第二环境结果下降，进一步检查才发现第一次运行读取了工作区中已有的预处理缓存。这个结果并不是“Agent 复现失败后再试一次”，而是说明实验边界没有把派生数据纳入证据链。

建立产物溯源

实验报告不能只保存一张曲线截图。你需要为代码差异、配置文件、模型检查点、评测输出、日志归档和构建制品建立统一运行标识，例如 run_id，再把它们连接到具体的代码提交与环境快照。

建议每次运行至少生成以下目录结构：

run_id/
├── task-spec/
├── source-revision/
├── environment/
├── configs/
├── logs/
├── checkpoints/
├── evaluation/
└── report/

代码差异应记录基线提交与 Agent 提交；环境目录应包含依赖锁文件、系统版本和镜像摘要；评测目录应包含原始输出，而不是只保存经过人工整理的表格。

如果实验还会生成二进制、容器镜像或其他构建制品，可以增加制品证明。GitHub 官方文档说明，Artifact Attestations 能为制品建立带签名的来源声明，并记录构建来源等信息；离线验证时，还需要核验签名、时间戳和签署者身份。可参考 Artifact Attestations 概念文档 和 制品来源证明指南。

但要注意：溯源只能证明“这个文件从哪里来”，不能证明“实验设计是正确的”。签名不能替代研究者检查数据泄漏、指标选择、统计方法和结论解释。

记录人工干预

OpenAI 的最新披露并没有把自动研究实习生描述成完全自主系统。复杂研究任务仍可能需要显著的人类引导，因此你必须记录干预发生在什么阶段、为什么发生，以及它是否改变了最终结果。

建议把干预分成三类：

• ✅ 环境修复：修复依赖安装、权限、磁盘或服务启动问题，不改变研究假设。
• ⚠️ 信息补充：补充任务说明、数据字段含义或评测格式，可能改变执行路径。
• ❌ 假设改变：更换数据、修改指标、调整模型设置或手工修改核心代码。

前两类也要留痕，第三类必须重新生成任务版本。若关键结论依赖研究者临时提示、手工改代码或人工筛选结果，报告中应明确写成“人机协作结果”，不能继续包装成 Agent 独立完成。

五道门槛的验收分级

完成一次实验后，可以用下面的决策工具判断是否放大试点。它比单看任务成功率更适合研究团队，因为它把“做完”“复现”“可信”和“可放行”分开。

分级规则可以这样执行：

• 通过：五项核心证据齐全，第二环境结果一致或差异在预先定义的范围内，可扩大并发或延长无人值守时间。
• 有限通过：任务完成且部分证据齐全，但存在人工补充、环境差异或结果波动，只能继续小范围试点。
• 不通过：独立复测失败、任务目标被改写、关键产物无法追溯，必须隔离任务并缩小权限。

独立复测失败时，最稳妥的动作不是换一台更强的机器，而是先定位差异来自代码、数据、环境、权限还是人工干预。

研究 Agent 的环境选择

并行研究 Agent 不应默认共享完整工作区。共享只读基础镜像和公共数据通常更容易管理，但每个任务的写入目录、临时服务、凭据、模型检查点和日志必须有边界。

如果你准备在远程主机、容器或云端 Mac 上运行研究 Agent，可以先阅读 kvmsync 的隔离实验环境部署指南，再根据任务是否涉及 macOS 工具链，补充检查远程登录、恢复快照和凭据回收流程。平台工程师还应把基础容量、峰值容量和恢复容量分开估算，不能直接按 Agent 会话数扩容。

验收后的放行策略

把任务完成、实验复现、科学结论有效、代码制品来源和生产放行分别写在报告中。五者不是同一个指标：

• 任务完成：Agent 是否执行了要求的步骤。
• 实验复现：第二环境能否重建并得到可解释的结果。
• 结论有效：研究者是否确认设计、数据和统计解释成立。
• 制品来源：代码和输出是否能追溯到明确提交与环境。
• 生产放行：团队是否允许扩大并发、进入训练流程或影响业务决策。

你还可以参考 kvmsync 的 AI Agent 实验结果复现验收清单，把每次运行的任务说明、日志、产物、复测结果和人工审批统一归档。对于需要 Mac 专属工具链的任务，再补充检查系统恢复和权限回收。

当前常见方案的问题，是让多个 Agent 共用开发目录、依赖缓存和临时凭据，初期速度快，但后续很难解释结果为什么变化；本地机器也容易把缓存和个人环境误当作实验条件；普通云主机则未必能准确覆盖 Xcode 或 macOS 桌面工具链。若你只是要做短期试跑、第二环境复测或临时扩大隔离实验，租赁 kvmsync 的 Mac 环境通常比改造现有工作站更容易控制交付、隔离和回收；但长期稳定重负载、需要固定物理接口或已有成熟机房运维体系时，自购设备仍可能更合适。需要临时算力时，可以先查看 kvmsync 的 Mac 方案与租赁信息，再用一项真实研究任务验证是否满足你的复现要求。