OpenAI 자동 연구 인턴의 실험 결과는 어떻게 검수하나요? 2026 체크리스트

실험이 끝났다는 보고는 받았지만 같은 코드를 새 환경에서 다시 실행할 수 없다면, 그 결과는 아직 검수된 연구 결과가 아닙니다.
가장 빠른 해법은 작업 경계 고정, 독립 환경 재현, 사람 개입 기록, 산출물 추적, 두 번째 환경 재검증의 다섯 관문을 모두 통과한 결과만 정식 결론으로 올리는 것입니다.

이 글은 Codex나 연구 Agent로 실험 코드를 만들고 평가를 실행하는 연구자, 여러 실험을 위해 컨테이너·원격 서버·클라우드 맥을 운영하는 플랫폼 엔지니어, 핵심 학습 과정으로 확대할지를 결정하는 기술 책임자를 위한 내용입니다. 단순히 작업이 성공했는지가 아니라 결과를 믿어도 되는지를 판단하는 데 초점을 둡니다.

먼저 자동 연구 인턴의 역할 경계를 고정합니다

OpenAI는 2026년 9월 6일, 사람이 지정하고 범위를 분명히 정한 과제를 대상으로 내부 시스템이 자동 연구 인턴 단계에 도달했다고 설명했습니다. 공개 설명의 핵심은 연구 방향을 스스로 정하는 시스템이 아니라, 사람이 정의한 연구 과정을 수행하는 시스템이라는 점입니다. 복잡한 과제에는 여전히 사람의 안내가 필요하며, 연구 우선순위와 결과 판단, 확대 결정도 사람이 맡습니다. 자세한 능력 범위는 OpenAI의 연구 가속 설명에서 확인할 수 있습니다.

실행 전에 다음 항목을 문서로 고정해야 합니다.

• 입력 데이터의 버전과 허용된 전처리
• 성공 조건과 실패 조건
• 사용할 수 있는 도구와 금지된 작업
• 변경할 수 없는 가설과 평가 방법
• 중단 조건과 사람 승인을 요구하는 단계

Agent가 실행 중 목표를 바꾸거나, 중요한 조건을 대화 문맥에서만 추론했다면 작업 완료로 기록할 수는 있어도 정식 결론으로 올리면 안 됩니다. 이 구분이 없으면 Agent가 평가 기준을 바꾼 뒤 성공한 것처럼 보이는 문제가 생깁니다.

환경을 두 겹으로 나누어 재현성을 확인합니다

같은 작업 공간에서 다시 실행한 결과는 탐색 중 오류를 찾는 데 유용합니다. 그러나 그 공간에는 Agent가 남긴 임시 파일, 캐시, 실행 중인 서비스와 인증 정보가 남아 있을 수 있습니다. 따라서 공식 검수에는 처음 환경과 깨끗한 재구축 환경을 분리해야 합니다.

다음 항목을 한 실행 식별자에 연결해 보관합니다.

• 코드 커밋과 변경 내역
• 의존성 잠금 파일
• 입력 데이터의 요약값
• 무작위성 설정
• 운영 체제와 실행기 버전
• 환경 이미지 식별자
• 모델 체크포인트와 평가 설정
• 표준 출력, 오류 출력, 종료 상태

Codex의 샌드박스 동작과 실행 범위는 Codex 시스템 카드의 환경 설명을 기준으로 확인할 수 있습니다. 기본 권한을 그대로 넓히지 말고, 실제 실험에 필요한 읽기·쓰기·네트워크 범위만 따로 승인해야 합니다. Codex 명령줄 도구의 기본 권한 안내도 함께 검토하는 편이 좋습니다.

Xcode, macOS 도구 또는 데스크톱 응용 프로그램을 사용하는 실험이라면 일반 서버의 성공 로그만으로 충분하지 않습니다. 처음 Agent가 사용한 작업 공간과 별도의 맥 환경에서 프로젝트를 다시 구성해야 합니다. 캐시된 빌드 결과나 기존 키체인 인증으로 실행된 기록은 깨끗한 재현 증거로 취급하지 않는 것이 안전합니다.

독립 재검증으로 숨은 환경 수정을 걸러냅니다

첫 번째 실행 환경은 탐색용으로 두고, 두 번째 환경은 독립 작업으로 구성합니다. 두 번째 실행에는 첫 번째 환경의 미제출 파일, 캐시, 임시 서비스, 장기 인증 정보를 넘기지 않습니다. 고정된 작업 설명과 버전이 지정된 입력만으로 새 Agent 또는 별도 실행기가 환경을 만들게 합니다.

검수 순서는 다음과 같이 운영할 수 있습니다.

1. 첫 실행에서 코드, 설정, 입력, 로그를 실행 식별자에 묶습니다.
2. 첫 환경에 남은 미제출 파일과 임시 서비스를 목록으로 기록합니다.
3. 깨끗한 이미지 또는 새 맥 환경을 준비하고 필요한 권한만 부여합니다.
4. 고정된 작업 설명으로 코드를 다시 가져오고 의존성을 재설치합니다.
5. 같은 입력과 평가 명령으로 실행한 뒤 출력, 로그, 종료 상태를 비교합니다.
6. 차이가 있으면 환경 차이, 무작위성, 데이터 변경, Agent 개입을 각각 분리해 조사합니다.
7. 원래 Agent만 원래 환경에서 결과를 낼 수 있다면 결론을 보류하고 조사 단서로 낮춥니다.

병렬 연구 Agent는 기본적으로 공간을 공유하지 않는 편이 낫습니다. 공유가 필요한 경우에도 입력 데이터와 기준 모델처럼 읽기 전용인 부분만 공동 사용하고, 작업 디렉터리와 임시 저장 공간은 분리해야 합니다. 안전한 Codex 운영 원칙도 권한 최소화와 격리된 실행을 중요한 통제 항목으로 다룹니다.

산출물의 출처와 사람의 개입을 함께 남깁니다

실험 로그가 남아 있어도 코드, 환경, 결과 사이의 연결이 끊기면 나중에 무엇이 실제로 실행됐는지 확인하기 어렵습니다. 코드 차이, 설정, 체크포인트, 평가 출력, 빌드 산출물에 같은 실행 식별자를 부여해야 합니다.

작업 흐름의 산출물과 의존성 캐시는 구분해야 합니다. 캐시는 실행 속도를 높이는 저장물이지, 특정 결과가 어떤 코드와 환경에서 만들어졌는지를 증명하는 자료가 아닙니다. 배포하거나 핵심 학습 과정에 넣을 산출물이라면 GitHub의 산출물 출처 증명 개념과 출처 증명 생성 절차를 참고해 증명 기록을 남길 수 있습니다.

다만 출처 증명은 산출물이 어디에서 왔는지를 보여줄 뿐입니다. 실험 설계가 올바른지, 데이터 누수가 없는지, 결과 해석이 타당한지는 별도의 사람 검토가 필요합니다.

사람의 개입은 다음 세 가지로 나누어 기록해야 합니다.

• 환경 장애를 고친 개입
• 빠진 입력이나 작업 정보를 보충한 개입
• 가설, 평가 기준 또는 연구 방향을 바꾼 개입

세 번째 개입이 핵심 결과를 바꿨다면 단순 재시도로 합치면 안 됩니다. 보고서에는 개입 시점, 지시 내용, 변경된 파일, 결과에 미친 영향과 승인자를 남겨야 합니다. 그래야 자동 수행 결과와 사람·Agent 협업 결과를 구분할 수 있습니다.

다섯 관문을 체크하고 판정을 고정합니다

아래 체크리스트는 실험 결과를 확대할지 보류할지 결정하는 도구입니다. 담당자는 각 항목에 증거 파일의 위치를 함께 적어야 합니다.

• [ ] 작업 목표, 입력 버전, 성공 조건과 금지 작업이 실행 전에 고정되어 있습니다.
• [ ] 코드, 의존성, 데이터 요약, 무작위성 설정과 실행기 버전이 저장되어 있습니다.
• [ ] 첫 작업 공간과 깨끗한 재구축 환경의 실행 기록이 분리되어 있습니다.
• [ ] 두 번째 환경에서 같은 입력을 사용해 결과와 실패 조건을 비교했습니다.
• [ ] 미제출 파일, 캐시, 임시 서비스와 장기 인증 정보가 두 번째 환경으로 넘어가지 않았습니다.
• [ ] 코드, 설정, 체크포인트, 평가 결과와 빌드 산출물이 하나의 실행 식별자로 연결됩니다.
• [ ] 사람의 개입 시점, 이유, 변경 내용과 결과 영향이 기록되어 있습니다.
• [ ] Codex 생성 코드에 대해 데이터 누수, 평가 기준 변경, 과도한 권한과 예외 처리를 사람이 검토했습니다.

판정은 체크 개수만으로 내리지 말고 핵심 항목의 실패 여부를 먼저 봐야 합니다.

• 통과: 모든 핵심 항목이 확인되고 두 번째 환경에서 결과가 재현되면 제한된 확대를 허용합니다.
• 제한 통과: 결과는 재현되지만 보충 지시나 작은 환경 차이가 남아 있으면 데이터 범위와 동시 실행을 줄인 채 추가 검토를 진행합니다.
• 불통과: 원래 Agent의 작업 공간에서만 실행되거나 작업 목표가 바뀌었거나 핵심 개입이 누락되었다면 결과를 연구 결론으로 사용하지 않습니다.

즉, 체크리스트의 마지막 항목만 통과했다고 전체 결과를 승인해서는 안 됩니다. 독립 재검증이 실패하면 다른 항목이 모두 충족되어도 해당 결과는 조사 단서로만 남겨야 합니다.

검수 결과를 세 등급으로 나누어 확대 여부를 결정합니다

통과

• 작업 경계와 성공 조건이 실행 전에 고정되어 있습니다.
• 깨끗한 환경에서 같은 입력으로 결과가 재현됩니다.
• 두 번째 실행 환경에서 로그와 실패 조건이 일치합니다.
• 코드와 산출물의 출처가 실행 식별자로 연결됩니다.
• 사람의 개입이 기록되었고 핵심 결론을 몰래 바꾸지 않았습니다.

제한 통과

• 결과는 재현되지만 일부 환경 차이 또는 보충 지시가 남아 있습니다.
• 추가 사람 검토가 끝날 때까지 데이터 범위와 동시 실행 수를 제한합니다.
• 장시간 무인 실행이나 핵심 학습 과정 투입은 보류합니다.

불통과

• 원래 Agent 환경에서만 결과가 나옵니다.
• 평가 기준이나 연구 목표가 실행 중 바뀌었습니다.
• 로그와 산출물 사이의 연결이 끊겼습니다.
• 사람의 수동 수정이 있었지만 보고서에 표시되지 않았습니다.

통과 등급만 동시 실행 수나 무인 실행 시간을 늘리는 근거로 삼아야 합니다. 실패한 작업은 격리 상태를 유지하고 권한을 줄입니다. 공통 실험 환경과 맥 전용 작업도 같은 방식으로 기초 용량, 피크 용량, 복구 용량을 따로 평가해야 합니다. Agent 세션 수만 보고 환경을 늘리면 캐시 충돌과 복구 지연을 놓칠 수 있습니다.

자주 묻는 내용

메타데이터의 자주 묻는 내용에는 자동 연구 인턴의 실제 역할, 연구 Agent 재현성, Codex 코드 검토, 병렬 환경 분리, 보존할 로그와 산출물에 대한 답을 정리했습니다. 팀 내부 검수 문서에는 이 답변을 그대로 복사하기보다, 각 항목에 담당자와 증거 위치를 붙여 사용해야 합니다.

2026년 9월 8일 기준으로 이 글은 OpenAI의 연구 설명, Codex 공식 권한·안전 자료, GitHub의 산출물 출처 증명 문서를 대조해 작성했습니다. OpenAI가 측정 방법을 바꾸거나 Codex의 환경·권한 모델을 갱신하면 검수 기준도 다시 확인해야 합니다.

현재 공유 서버나 기존 개발 맥에서 계속 실험하면 이전 캐시가 섞이고, 임시 인증 정보가 남으며, 데스크톱 도구 체인의 상태를 동일하게 재현하기 어렵다는 단점이 있습니다. 반대로 맥 환경을 독립적으로 빌리면 작업별 공간을 분리하고 깨끗한 재검증 환경을 만들기 쉽습니다. 다만 장기간 고정된 고부하 작업이나 물리 장비 연결이 필수인 실험에는 구매한 장비나 전용 환경이 더 적합할 수 있습니다.

임시 연구 과제나 재현성 시험이라면 kvmsync의 맥 환경 안내에서 제공 방식과 복구 조건을 먼저 확인한 뒤, 두 환경의 실행 기록을 비교하는 방식이 더 현실적입니다. 필요할 때만 kvmsync 요금 안내를 검토하고, 실제 연구 과제 하나를 골라 격리 실행과 독립 재검증을 먼저 마친 뒤 공유·전용·탄력형 환경 중 하나를 결정하시기 바랍니다.