RoboDawn Codex 어댑터

TL;DR

어댑터 동작: 실호출 1회 정답, 10.3 s
시뮬 동작: job 175286에서 4개 뷰 렌더와 명령 실행 통과
주의: Codex scaffold가 호출당 약 2.4만 토큰, 논문 설정과 직접 비교 불가

1/1

어댑터 실호출

23,729

호출당 prompt 토큰

모델 포함 에피소드

1배경/목적 (왜)

agent ICL 1순위 대상인 RoboDawn은 OpenAI 호환 endpoint를 요구하지만, 사용 가능한 모델 접근은 Codex ChatGPT 로그인뿐임. API 키 없이 RoboTwin 2.0에서 zero-shot / 1-demo를 돌릴 수 있게 만드는 것이 목적.

2작업 내용 (어떻게)

RoboDawn/ 클론 (서브모듈 미초기화). 고정된 RoboTwin 커밋 96c1fea가 허브(~/repos/Robotics/RoboTwin) HEAD와 동일해 ROBOTWIN_ROOT로 허브를 그대로 사용.
RoboDawn/harness/agent/codex_client.py 신규: ChatClient와 같은 인터페이스(chat, total_usage)의 CodexChatClient. harness가 매 호출마다 전체 대화를 보내는 stateless 구조라, 호출마다 ephemeral Codex thread를 새로 열고 system 메시지는 baseInstructions, 나머지는 한 turn의 입력으로 평탄화. 프로토콜은 GPT-Policy의 harness/codex.py를 따름.
run_robotwin_eval.py에 --backend {openai,codex}, --zero_shot 추가. 공개 코드는 태스크 데모가 없으면 FileNotFoundError라 zero-shot 경로가 없었음 → AgentConfig.task_demo, load_demos(task_demo=) 추가 (primer만 유지).
scripts/robodawn_robotwin.sh(허브 env_worker.sh source, MODE=smoke|run, SHOTS=0|1), scripts/robodawn_sim_smoke.py(모델 호출 없는 시뮬 검증).

3결과 (수치 필수)

Codex 어댑터 실호출 1회 (gpt-6-astra, effort low, 이미지 2장 + assistant 예시 1개): 응답 {"color":"blue"} 정답, 10.3 s, 오류 없음.
같은 호출의 prompt_tokens = 23,729 (64×64 이미지 2장과 짧은 텍스트뿐인데도). Codex 자체 scaffold가 호출마다 약 2.4만 토큰을 얹음, cached 0.
데모 로딩(오프라인): place_empty_cup 1-shot = primer 6프레임 + 태스크 데모 2개(7, 8프레임), zero-shot = primer 6프레임만.
시뮬 스모크 (job 175286, --qos=own, 1 GPU, isaac-lab:2.2.0 컨테이너): place_empty_cup episode 0 reset, 4개 뷰 렌더(640×480 ×2, 320×240 ×2), left move z 3 위치 오차 0.02 cm, right gripper close 정상, 2/500 step, 약 40 s에 SIM SMOKE OK.
앞선 2회(175283, 175285)는 스모크 스크립트 자체 버그(PIL .shape, property 호출)로 중간에 멈춤. 175282는 extra 풀 한도(AssocGrpGRES)로 PENDING이라 취소.
모델을 넣은 에피소드는 아직 0회.

4의미 (Takeaway)

API 키 없이 RoboDawn을 돌릴 경로가 양쪽(모델, 시뮬) 모두 개별 검증됨. 단 Codex 경유는 논문 설정과 3가지가 다름: Codex agent scaffold 통과, temperature/max_tokens 지정 불가, 데모의 assistant 메시지가 assistant role이 아닌 라벨 붙은 텍스트로 들어감. 따라서 수치는 논문과 직접 비교가 아니라 "Codex 경유 RoboDawn"으로 표기해야 함.

5보완점/다음 (Next)