칸의 점 하나가 에피소드 하나입니다(왼쪽부터 에피소드 0~9, 초록 = 성공). 같은 열 위치의 점은 모든 방법에서 같은 장면입니다.
| 태스크 | RoboDawn | GPT-Policy | AGP | RoboProbe | Zero-WAM | LingBot-VA | LingBot-VLA* | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 사람 영상 | 데모 없음 | 사람 영상 | 데모 없음 | 사람 영상 | 데모 없음 | 사람 영상 | 데모 없음 | 사람 영상 | 언어만 | 데모 없음 | 데모 없음 | |
| place_empty_cup | 7/10 | 9/10 | 7/10 | 9/10 | 10/10 | 10/10 | 8/10 | 9/10 | 0/10 | 0/10 | 2/10 | 9/10 |
| place_object_scale | 6/10 | 6/10 | 10/10 | 8/10 | 10/10 | 10/10 | 7/10 | 7/10 | 0/10 | 0/10 | 0/10 | 2/10 |
| move_stapler_pad | 6/10 | 1/10 | 9/10 | 9/10 | 9/10 | 8/10 | 3/10 | 2/10 | 0/10 | 0/10 | 0/10 | 2/10 |
| stamp_seal | 4/10 | 1/10 | 9/10 | 0/10 | 10/10 | 9/10 | 0/10 | 0/10 | 0/10 | 0/10 | 0/10 | 3/10 |
| 합계 | 23/40 (58%) | 17/40 (42%) | 35/40 (88%) | 26/40 (65%) | 39/40 (98%) | 37/40 (92%) | 18/40 (45%) | 18/40 (45%) | 0/40 (0%) | 0/40 (0%) | 2/40 (5%) | 16/40 (40%) |
| 방법 | 조건 | 에피소드 | 모델 호출 | 실행 시간 | 그중 모델 대기 | 입력 토큰 | 캐시 비율 | API 환산 / 에피소드 | API 환산 합계 |
|---|---|---|---|---|---|---|---|---|---|
| RoboDawn | 사람 영상 | 40 | 20.6 | 364초 | 325초 | 441K | 68% | $1.93 | $77 |
| RoboDawn | 데모 없음 | 40 | 21.0 | 366초 | 327초 | 408K | 78% | $1.47 | $59 |
| GPT-Policy | 사람 영상 | 40 | 18.2 | 271초 | 160초 | 668K | 82% | $1.91 | $76 |
| GPT-Policy | 데모 없음 | 40 | 11.6 | 160초 | 83초 | 329K | 86% | $0.81 | $32 |
| AGP | 사람 영상 | 40 | 29.8 | 269초 | 261초 | 703K | 93% | $1.30 | $52 |
| AGP | 데모 없음 | 40 | 38.1 | 335초 | 324초 | 935K | 95% | $1.54 | $62 |
| RoboProbe | 사람 영상 | 40 | 29.8 | 372초 | 333초 | 817K | 52% | $4.50 | $180 |
| RoboProbe | 데모 없음 | 40 | 31.1 | 394초 | 354초 | 801K | 56% | $4.15 | $166 |
API 환산은 GPT-6 Astra 공개 요율(입력 $10, 캐시 입력 $1, 출력 $50 / 100만 토큰)을 적용한 값입니다. 실제로는 Codex 구독 사용량에서 차감되며 이 금액이 청구되지는 않습니다. RoboDawn의 캐시 비율은 실행 단위 평균을 에피소드에 나눠 적용했습니다.
| 태스크 | RoboDawn 사람 영상 | RoboDawn 데모 없음 | GPT-Policy 사람 영상 | GPT-Policy 데모 없음 | AGP 사람 영상 | AGP 데모 없음 | RoboProbe 사람 영상 | RoboProbe 데모 없음 |
|---|---|---|---|---|---|---|---|---|
| place_empty_cup | 17회 · 299초 · $1.90 | 12회 · 204초 · $0.98 | 31회 · 442초 · $3.56 | 12회 · 155초 · $0.91 | 28회 · 265초 · $1.35 | 32회 · 248초 · $1.06 | 18회 · 214초 · $2.35 | 19회 · 234초 · $2.21 |
| place_object_scale | 18회 · 313초 · $1.50 | 16회 · 302초 · $1.08 | 15회 · 252초 · $1.58 | 12회 · 193초 · $0.80 | 28회 · 242초 · $1.29 | 27회 · 237초 · $1.10 | 26회 · 344초 · $4.04 | 27회 · 365초 · $3.66 |
| move_stapler_pad | 23회 · 397초 · $2.07 | 27회 · 458초 · $1.77 | 11회 · 191초 · $1.00 | 9회 · 131초 · $0.60 | 24회 · 236초 · $1.20 | 30회 · 260초 · $1.11 | 36회 · 425초 · $5.43 | 39회 · 469초 · $5.23 |
| stamp_seal | 25회 · 447초 · $2.26 | 29회 · 502초 · $2.06 | 16회 · 200초 · $1.51 | 13회 · 160초 · $0.93 | 40회 · 333초 · $1.38 | 64회 · 597초 · $2.89 | 40회 · 504초 · $6.20 | 40회 · 509초 · $5.49 |
| 방법 | 실행 규모 | GPU 시간 | 에피소드당 | 비고 |
|---|---|---|---|---|
| Zero-WAM 사람 영상 | 7태스크, 343 에피소드 (job 175321) | 84 GPU·h (7장 × 12시간) | 약 15분 | 12시간 한도에서 종료. 이 보고서는 태스크당 앞 10개만 사용 |
| Zero-WAM 언어만 | 7태스크, 149 에피소드 (job 175322) | 18 GPU·h (7장 × 2.6시간) | 약 7분 | 중간에 취소. 태스크당 앞 10개만 사용 |
| LingBot-VA | 4태스크, 40 에피소드 (job 176086) | 2.2 GPU·h (2장) | – | 43태스크 학습본 step 32000, 영상 입력 없음 |
| LingBot-VLA* | 7태스크, 70 에피소드 (jobs 175372, 175464, 175479, 175509) | 7.3 GPU·h | 약 6분 | 모델 API 비용 없음 |
AGP의 호출 수 칸은 모델 요청 수가 아니라 에이전트가 실행한 명령 수입니다(에피소드 하나가 Codex 세션 하나).
태스크마다 맨 앞이 모델에게 준 사람 데모 영상이고, 그 뒤가 각 방법의 에피소드 0 실행입니다. 테두리 색이 성공(초록)과 실패(빨강)를 나타냅니다.
| 방법 | 조건 | 실패 수 | 내역 |
|---|---|---|---|
| RoboDawn | 사람 영상 | 17 | 턴 상한 소진 16, 물체 낙하 1 |
| RoboDawn | 데모 없음 | 23 | 턴 상한 소진 20, 물체 낙하 3 |
| GPT-Policy | 사람 영상 | 5 | 모델이 스스로 종료 5 |
| GPT-Policy | 데모 없음 | 14 | 모델이 스스로 종료 14 |
| AGP | 사람 영상 | 1 | 모델이 스스로 종료 1 |
| AGP | 데모 없음 | 3 | 모델이 스스로 종료 3 |
| RoboProbe | 사람 영상 | 22 | 호출 상한 소진 18, 모델이 포기 선언 3, 물체 낙하 1 |
| RoboProbe | 데모 없음 | 22 | 호출 상한 소진 19, 모델이 포기 선언 3 |
| 방법 | 상태 | 이유 |
|---|---|---|
| Show-Harness | place_empty_cup 1 에피소드, 실패 (호출 62회, 입력 95만 토큰) | 한 번에 2~4 cm씩 움직여 결정 60회로 컵 잡기 단계도 못 끝냄. 의미 있게 돌리려면 에피소드당 호출 200회 이상 |
| GPT-as-Policy hybrid, Harness VLA | 미구현 | RoboTwin 이식 계획만 있음 (각 3~4일) |