RoboDawn: 데모 없음 0/5 (평균 score 4.0) → 로봇 데모 1/7 (평균 32.9). 유일한 성공은 classify layout 0 (score 100, 176 calls, 86분).RoboProbe (데모 없음): 0/10, 평균 score 20.0 (tower 12.0, classify 28.0). 실행시간은 22~26분으로 RoboDawn의 1/5.통일 프로토콜 첫 실측(RoboTwin)에서 RoboDawn 파일럿은 n=1씩이었다. RoboDojo(B200 클러스터에 배포, 어댑터 완료) 위에서 agent형 ICL 두 방법(RoboDawn, RoboProbe)을 같은 태스크 2종(classify_objects_by_language, build_tower)과 layout 0~4로 돌려, 데모 조건(demo_none / demo_robot)의 효과와 비용을 먼저 확인한다.
layout별 job을 개별 sbatch로 분리 제출(1 sbatch = 1 실험). 결과는 results/robodojo/<method>/<demo>/<task>/<jobid>/summary.json에서 집계.
| 방법 | 데모 | 태스크 | 성공 | layout별 score | 평균 score | 분/ep | input tok(M) |
|---|---|---|---|---|---|---|---|
| RoboDawn | none | tower | 0/2 | L0 0, L1 0 | 0.0 | 114~122 | 4.7 |
| RoboDawn | none | classify | 0/3 | L0 10, L1 0, L2 10 | 6.7 | 107~115 | 4.7 |
| RoboDawn | robot | classify | 1/4 | L0 100, L1 0, L2 40, L4 0 | 35.0 | 86~126 | 8.0~10.9 |
| RoboDawn | robot | tower | 0/3 | L0 30, L1 30, L2 30 | 30.0 | 108~124 | 7.2 |
| RoboProbe | none | tower | 0/5 | L0 10, L1 30, L2 0, L3 10, L4 10 | 12.0 | 23~26 | 3.1~4.0 |
| RoboProbe | none | classify | 0/5 | L0 40, L1 10, L2 40, L3 10, L4 40 | 28.0 | 22~26 | 3.0~4.1 |
RoboDawn demo_robot classify L0 (job 178524): score 100, model calls 176, 5160s, input 7.97M tok.RoboDawn 240 call 소진 후 종료가 대부분 (model 시간 4244~5646s). demo_robot은 input tok이 demo_none 대비 1.5x (4.7M→7.2M, classify는 2.3x=10.9M). 실패 run은 output 65~83K tok.rdd_tower_l3_none_178959)은 codex_openai_proxy.py에서 Codex initialize failed: timeout waiting for initialize로 시작 단계 실패, summary 없음. L3/L4 tower robot 등 일부 결과 파일도 없음.두 방법 모두 240 call 안에서 태스크를 거의 완수하지 못했다 (1/22). partial score 기준으로는 RoboDawn 로봇 데모가 tower에서 0→30으로 3개 layout 모두 올렸고(n=3, 분산 0), 데모의 효과 신호는 있다. 반대로 RoboProbe는 5배 빠르지만 성공 0이고 score도 데모 없는 RoboDawn보다 높아(20.0 vs 4.0) 단순 비교로는 효율이 좋다. 단 layout 집합이 다르고 n=1이라 우열 주장은 불가.
rpd 쪽 robot 조건) 재제출.RoboProbe에 demo_robot 조건 추가해 같은 layout 집합으로 비교.