TL;DR — restore(원위치) 11플랜 × 3반복 = VLA당 33 에피소드(최종 하네스: bench 초기자세·변 정방향 접근·MS 절단 제거). SR Cosmos 13/33(39%) · mixv2 12/33(36%) · 플래그십 10/33(30%) — 95% CI 완전 겹침, 통계적으로 동급. 서브골: 든 상태 place 59–63%(플래그십 최고), pick 11–15%가 공통 병목. 난이도는 VLA보다 플랜(물체)이 결정: 티슈박스 3/3/3, 병·리모컨 2개·그릇 2개 플랜은 전 VLA 0/3.
12/33
π0.5 mixv2 SR (22–53%)
13/33
Cosmos3 Nano SR (25–56%)
10/33
플래그십 MolmoBot-DROID SR (17–47%)
1최종 표 (33 에피소드/VLA)
| VLA | SR (n=33) | 95% CI | val_144 (9) | val_406 (18) | val_733 (6) | pick 성공/시도 | 든 상태 place | 낙하 | 빈손 place 호출 |
|---|
| π0.5 mixv2 | 12/33 (36%) | 22–53% | 3/9 | 9/18 | 0/6 | 30/201 (15%) | 17/29 (59%) | 9 | 15 |
| Cosmos3 Nano | 13/33 (39%) | 25–56% | 3/9 | 10/18 | 0/6 | 28/248 (11%) | 17/29 (59%) | 6 | 5 |
| 플래그십 MolmoBot-DROID | 10/33 (30%) | 17–47% | 4/9 | 6/18 | 0/6 | 29/210 (14%) | 19/30 (63%) | 7 | 8 |
세 VLA의 SR 차이는 최대 3 에피소드, Wilson 95% CI가 완전히 겹친다 → "제일 나은 VLA"는 없다. 3플랜(val_144)·11플랜(r0) 단계에서 보였던 순위 역전(플래그십 우세 → mixv2 우세)은 표본 착시였다. 구분되는 것은 서브골 프로파일: 플래그십은 든 상태 place가 63%로 가장 높고, mixv2는 pick이 15%로 가장 높지만 빈손 place 호출(VLM이 pick 실패를 오판)이 15건으로 가장 많다.
2플랜 × VLA 매트릭스 (성공/3회)
| 컨텍스트 | 플랜 (지시) | π0.5 mixv2 | Cosmos3 Nano | 플래그십 MolmoBot-DROID |
|---|
| 144__2 | 0d9cb7 Pick up the remote control and place it in or on where it fi | 1/3 | 2/3 | 1/3 |
| 144__2 | 46187b Pick up the remote control and place it in or on where it wa | 2/3 | 1/3 | 3/3 |
| 144__2 | 91ec55 Pick up the bowls and place them in or on where they first w | 0/3 | 0/3 | 0/3 |
| 406__0 | 266277 Pick up the fork and place it in or on where it first was | 0/3 | 1/3 | 0/3 |
| 406__0 | 30c02a Pick up the vase and place it in or on where it first was | 2/3 | 1/3 | 0/3 |
| 406__0 | 60773b Pick up the bowl and place it in or on where it first was | 2/3 | 3/3 | 2/3 |
| 406__0 | b83407 Pick up the fork and place it in or on where it was just bef | 2/3 | 2/3 | 1/3 |
| 406__0 | d4bb3c Pick up the tissue box and place it in or on where it first | 3/3 | 3/3 | 3/3 |
| 406__0 | db07c3 Pick up the fork and place it in or on where it first was, t | 0/3 | 0/3 | 0/3 |
| 733__0 | 941216 Pick up the bottle and place it in or on where it first was | 0/3 | 0/3 | 0/3 |
| 733__0 | fb146c Pick up the remote controls and place them in or on where th | 0/3 | 0/3 | 0/3 |
난이도는 물체가 결정: 티슈박스 3/3/3 · val_406 그릇 2/3/2 · 리모컨→변기(플래그십 3/3). 포크 3플랜은 0–2/3 혼재(소형 물체 pick). val_733(병, 리모컨 2개)·val_144 그릇 2개 플랜은 전 VLA 0/3 — 다중 물체와 좁은 물체가 1-stage의 상한.
3실패 원인 (에피소드 단위)
| 실패 원인 (실패 에피소드 수) | π0.5 mixv2 | Cosmos3 Nano | 플래그십 MolmoBot-DROID |
|---|
| pick 전부 실패 | 5 | 9 | 10 |
| place 낙하 | 8 | 5 | 6 |
| place 미완(든 채 128스텝) | 3 | 4 | 2 |
| 기타(VLM 조기 done 등) | 0 | 0 | 1 |
| 일부 배치 후 미완(다중 물체/재pick 실패) | 5 | 2 | 4 |
| 실패 합계 | 21 | 20 | 23 |
실패의 대부분은 pick 전부 실패 — 128스텝 × 최대 수십 회 재시도에도 못 집음. place 낙하·미완은 그 다음. VLA를 바꿔도 이 분포가 비슷하다는 것이 이 비교의 핵심 결과.
4영상 — 플랜별 3 VLA 나란히 (성공 1편 · 실패 1편, 전체 턴 이어붙임 + 오버레이)
al_406__0 · d4bb3cb — Pick up the tissue box and place it in or on where it first was
al_406__0 · 60773b2 — Pick up the bowl and place it in or on where it first was
al_406__0 · b834078 — Pick up the fork and place it in or on where it was just before
al_406__0 · 30c02a2 — Pick up the vase and place it in or on where it first was
al_144__2 · 46187b3 — Pick up the remote control and place it in or on where it was just before
al_144__2 · 0d9cb78 — Pick up the remote control and place it in or on where it first was
al_144__2 · 91ec551 — Pick up the bowls and place them in or on where they first were, then pick up the remote control and place it in or on where it first was
al_733__0 · fb146cd — Pick up the remote controls and place them in or on where they first were, then pick up the bottle and place it in or on where it first was
턴별 전체 페이지(플랜마다 모든 subgoal 영상·관측·VLM 노트): v21 flagship · v21 cosmos · v21 mixv2 · v22r1 flagship · v22r1 cosmos · v22r1 mixv2 · v22r2 flagship · v22r2 cosmos · v22r2 mixv2
5방법
- 하네스(모든 VLA 동일): 초기 팔 자세 = 벤치 분포(플래그십; mixv2·Cosmos는 학습 분포인 home), 든 채 receptacle 접근 = footprint 변 중앙 바깥·법선 정면(
square_approach_candidates), 든 채 내려놓기 종료 = is_placed_on 또는 128스텝만(MS 자체 판정 절단 제거), 낙하 = 로봇 접촉 상실.
- 판정: 최종 restore = 모든 대상 물체가 원래 수용체 위(
is_placed_on: 지지 + 로봇 비접촉). pick = 들어올림 판정. 서브골 통계는 episode.json 액션 로그에서 집계(영상 판정 아님).
- 반복: r0=v21, r1·r2=v22(OUT_ROOT 분리 → 초기자세 시드·VLM 샘플링·물리 변동). extra QOS preempt 시 sbmr requeue + done-glob 이어받기.
- 집계
tmp/restore_final_eval.py → tmp/molmobot_official/restore_final.json; 영상 tmp/stitch_online_plan.py.
6Takeaway · Next
논문 1-stage 축: "세 VLA 동급(30–39%), 상한은 pick(≈13%)"으로 서술하고 SR 옆에 pick/place/낙하를 병기. 하네스 결함 4건(초기자세·접근 방향·절단·ws) 수정 이력은 공정성 절. 다음: pick 병목 해부(소형 물체·다중 물체), 필요 시 pick 프리미티브 상한 실험(평가 축이 아닌 상한 추정용).