RoboDojo 재현

TL;DR

로봇 데모의 효과가 가장 뚜렷한 것은 RoboICL: build_tower 0/5 → 4/5
데모 없는 조건에서는 hybrid가 가장 높음: 4/10 (Astra가 π0.5를 교정)
Astra 단독(RoboProbe)과 RoboDawn 데모 없음은 성공 0
비용: 55 에피소드, 실행 68시간, 입력 381M 토큰, API 요율 환산 $1,369 (실제는 Codex 구독 차감)

4/5

RoboICL 로봇 데모, build_tower

4/10

hybrid, 데모 없음

$1,369

API 요율 환산

1결과

성공 수 / 5 (괄호는 RoboDojo 공식 점수 평균, 0~1). 점은 레이아웃 0~4이고 모든 방법이 같은 장면입니다.

방법	데모	classify_objects_by_language	build_tower
GPT-as-Policy hybrid (Astra + π0.5)	없음	1/5 (0.38)	3/5 (0.68)
RoboProbe (Astra 단독)	없음	0/5 (0.28)	0/5 (0.12)
RoboICL	없음	0/5 (0.26)	0/5 (0.08)
RoboICL	로봇 데모	–	4/5 (0.82)
RoboDawn	없음	0/5 (0.06)	0/5 (0.00)
RoboDawn	로봇 데모	1/5 (0.30)	0/5 (0.26)

hybrid와 RoboProbe는 데모를 받는 기능이 없습니다. RoboICL의 classify_objects_by_language는 공개 데모가 없어 로봇 데모 조건을 돌릴 수 없었습니다. π0.5 단독은 classify_objects_by_language에서 기존 로컬 실행 기준 0점입니다(build_tower는 미실행).

2시간과 비용 (에피소드 평균)

방법	데모	에피소드	실행 시간	입력 토큰	캐시 비율	API 환산 / 에피소드	합계
GPT-as-Policy hybrid (Astra + π0.5)	없음	10	36분	13.0M	98%	$17	$172
RoboProbe (Astra 단독)	없음	10	24분	3.6M	52%	$20	$196
RoboICL	없음	10	95분	5.4M	42%	$36	$364
RoboICL	로봇 데모	5	71분	5.3M	42%	$35	$175
RoboDawn	없음	10	106분	4.7M	75%	$19	$191
RoboDawn	로봇 데모	10	109분	8.8M	81%	$27	$272

API 환산은 GPT-6 Astra 공개 요율(입력 $10, 캐시 입력 $1, 출력 $50 / 100만 토큰)을 곱한 참고값이며 청구액이 아닙니다.

3영상: 레이아웃 0 (6배속)

classify_objects_by_language

GPT-as-Policy hybrid (Astra + π0.5) · 없음
실패 · 점수 0.4 · 40분

RoboProbe (Astra 단독) · 없음
실패 · 점수 0.4 · 25분

RoboICL · 없음
실패 · 점수 0.4 · 82분

RoboDawn · 없음
실패 · 점수 0.1 · 107분

RoboDawn · 로봇 데모
성공 · 점수 1.0 · 86분

build_tower

GPT-as-Policy hybrid (Astra + π0.5) · 없음
성공 · 점수 1.0 · 23분

RoboProbe (Astra 단독) · 없음
실패 · 점수 0.1 · 26분

RoboICL · 없음
실패 · 점수 0.1 · 95분

RoboICL · 로봇 데모
성공 · 점수 1.0 · 58분

RoboDawn · 없음
실패 · 점수 0.0 · 122분

RoboDawn · 로봇 데모
실패 · 점수 0.3 · 124분

4논문 설정과 다른 점

모델 호출이 전부 Codex 로그인을 거칩니다. 도구 호출 기록이 텍스트로 들어가거나 캐시·추론 이어받기 옵션이 빠지는 등 요청 형식이 논문과 다릅니다.
hybrid는 Codex 샌드박스를 끈 상태로 실행했습니다(worker pod에서 샌드박스가 뜨지 않음). 로컬 RoboDojo와 openpi 커밋이 공개본 기록과 다릅니다.
RoboICL의 build_tower 데모는 논문이 고정한 파일이 저장소에서 사라져, 현재 공개된 거의 같은 궤적(앞뒤 프레임 1개씩 차이)으로 다시 만들었습니다.
태스크당 레이아웃 5개, 한 번씩 실행한 결과입니다.

tasks classify_objects_by_language, build_tower (layouts 0-4, seed 0, native evaluator) hybrid gpt-6-astra xhigh + pi0.5, up to 15 env steps per decision RoboProbe gpt-6-astra, up to 100 move_eef calls RoboICL zero_shot_b25 / one_shot_j12_b12, xhigh, H=15 RoboDawn 240 turns, reasoning high, shipped demo bank