통일 프로토콜 첫 실측

1배경/목적 (왜)

사람 데모 ICL을 agent 방식과 학습 모델 방식으로 같은 조건에서 비교하기 위함. 프로토콜은 RoboTwin 2.0 demo_randomized, held-out 7태스크, 허브 원본 check_success, seed 100000부터 expert 검증 통과 순.

2작업 내용 (어떻게)

• Zero-WAM: 공개 zero-wam-posttrain-robotwin, script/eval_zerowam_robotwin.sh에 TASK_CONFIG=demo_randomized, 허브 기준 eval root(tmp/robotwin_eval_root_hub), 7태스크 × 50, 사람 영상 조건(job 175321). 언어 조건(175322)은 대기.
• VLA 기준선: LingBot-VLA-RoboTwin-EEF-ckpt1500(Harness VLA의 RoboTwin executor), 허브 XPolicyLab 어댑터 LingBot_VLA_RLinf 신규, 7태스크 × 10 (jobs 175372, 175464, 175479, 175509).
• RoboDawn 파일럿: Codex 로그인 backend, place_empty_cup 에피소드 0, effort medium, 30 turn 상한. 사람 영상 프레임 8장(DEMO=human, job 175579) 대 데모 없음(DEMO=none, job 175578).
• 어댑터(모델 호출 없는 스모크만 통과): AGP(175345), Show-Harness(175349), GPT-Policy(175333).

3결과 (수치 필수)

RoboDawn 파일럿 (n=1씩):

• 데모 없음: 성공, 17 turn, 24 step, 266 s (모델 236 s), 호출 17회, 호출당 prompt 19,386 토큰(cached 9,909), 출력 224.
• 사람 영상: 실패(max_turns), 30 turn, 40 step, 445 s, 호출 30회, 호출당 prompt 21,436 토큰(cached 6,921). 12 turn에 컵을 잡고 18 turn에 코스터 근처에 놓았으나 성공 판정이 안 났고, 이후 컵을 옆으로 잡아 세우려다 turn을 소진.
• 호출 오류 0/47, 평균 지연 13~14 s.

4의미 (Takeaway)

Zero-WAM은 demo_randomized에서 7태스크 중 5개가 0~3%로 떨어짐. LingBot-VLA는 RoboTwin 태스크로 학습된 모델이라 조건이 다르지만 같은 장면에서 34.3%. RoboDawn은 n=1이라 사람 영상의 효과를 말할 수 없음. Codex 경유 호출은 에피소드당 17~30회, 호출당 약 2만 토큰으로 측정됨.

5보완점/다음 (Next)

• Zero-WAM demo_clean + 허브 기준 재실행(기존 수치와 연결), 언어 조건 완료 대기.
• RoboDawn 사람 영상 대 데모 없음을 태스크·에피소드 늘려 측정 (비용 확인 후).
• Show-Harness(Gemini 과금), AGP(샌드박스 없는 Codex, 세션당 요청 55~110회), GPT-Policy 첫 에피소드 미실행.
• GPT-as-Policy hybrid, Harness VLA는 계획만 있음(각 3~4일).
• open_microwave는 expert 검증이 실행마다 달라 seed 고정 필요. 지시문 문장도 실행마다 달라짐.