2026-08-25 — Experiment (online, 저수준 VLA 교체 축)
공식 MolmoBot 체크포인트(Pi0-DROID · 플래그십 MolmoBot-DROID)를 우리 하네스에 — 뭐가 문제였고, 얼마나 하나
v1 val_144__2 restore 3플랜(VLA place) + find ctx3 11질의 · textlog@gemini-3.6-flash · 초기자세 bench 샘플 · default 프롬프트 · 나머지 하네스 동일
TL;DR — 공식 MolmoBot 두 체크포인트를 VLA 슬롯에 교체 시험하며 하네스 결함 4건 발견·수정(초기 팔 자세 분포, place 접근 방향(±45° yaw 증강→변 정방향), MS 자체 판정이 놓는 도중 서브골 절단, 플랜 간 ws 미종료). 최종(v20): 플래그십 MolmoBot-DROID restore 2/3(침대·변기 정상 배치), Cosmos 0/3, mixv2 0/3; ctx3 플래그십 4/11 = mixv2 4/11 > 공식 Pi0 3/11. place 전용 프로브: 플래그십 평면 3/3, Cosmos 2/3. 남은 병목 = 쿠션 위 pick(6–25%)·침대 가장자리 릴리즈. v21 11플랜(3 컨텍스트): mixv2 5/11 > Cosmos 4/11 > 플래그십 2/11 — 절단 제거 후 든 상태 place는 대체로 성공(8/10·6/9·4/7), 병목은 pick(9–16%).
4
하네스 결함 수정(초기자세·접근 방향·절단·ws)
5 · 4 · 2
restore SR /11 (v21): mixv2 · Cosmos · 플래그십
4/11
ctx3 SR 플래그십 (= mixv2 bench 4/11)
3/3 · 2/3
place 프로브 평면 상판: 플래그십 · Cosmos
1뭐가 문제였나 — 공식 Pi0-DROID가 우리 씬에서 안 움직인 이유
첫 스모크 4/4 무동작(프레임 diff ≤0.083, 정지). 렌더러(filament) 가설은 그들 벤치 6편이 classic 렌더로도 2/6 성공하고 리더보드가 classic≈filament라 기각. 단일 요인 이등분:
| 실험 (공식 Pi0-DROID) | 설정 | 활동량(프레임 diff; mixv2 기준 ≈1.1) | 결론 |
|---|---|---|---|
| 그들 eval.py, 그들 벤치 6편(classic 렌더) | 원본 파이프라인 | 성공 2/6 | 체크포인트·서빙·GPU·클래식 렌더 무결. 리더보드도 classic 66.8 ≈ filament 64.0 → 렌더러 가설 기각 |
| 그들 에피소드(house 0, pen)를 우리 env에 재현 | 그들 베이스 포즈 + 그들 init 관절 + 그들 프롬프트 | 0.356 | 우리 env 구현 무결 |
| ↑ 베이스만 우리 teleport | OUR_BASE | 0.249 | 베이스 배치 무관 |
| ↑ 팔만 우리 홈 자세(노이즈 0 정확한 홈) | OUR_ARM | 0.026 | 팔 초기 자세가 원인 |
| 우리 벤치 씬 + 그들식 팔 자세 + pick 문장 | ARM_INIT | 0.141 | 움직임 회복 |
| 우리 벤치 씬 + 그들식 팔 자세 + PnP 문장 | ARM_INIT + PnP | 1.171, pick 성공 81스텝 | 완전 회복 |
원인 확정: 벤치 에피소드(procthor-10k Franka 11,300편)의 초기 팔 자세 = MS 기본 홈 + 관절1–6 ≈U(±0.26), 손목 ≈U(±π/2). 우리 하네스는 노이즈 0의 정확한 홈 자세 → 학습 분포의 측도-0 점 → 정책이 얼어붙음. 하네스에
--arm-init bench(턴별 결정론 샘플) + --prompt-profile default(원본 소문자 문장) 추가(커밋 5ff17a9).부차: 공식 모델은 "pick up the X." 보다 PnP 문장에 강하게 반응(FrankaPickAndPlace 데이터 비중). 과제 범위: MolmoBot-Data Franka = Pick / PnP(+color, next-to)뿐 — open/close는 RB-Y1 전용, press button 없음. mixv2도 같은 믹스.
2find ctx3 11질의 — 같은 bench 초기자세에서 4개 VLA
| 질의(plan) | 지시문 | mixv2 (home) | mixv2 (bench) | 공식 Pi0-DROID (bench) | 플래그십 MolmoBot-DROID (bench) |
|---|---|---|---|---|---|
19ae1ba6 | Pick up all the bowls I moved earlier | ✓ | ✓ | ✗ | ✗ |
af734de9 | Pick up the apple | ✗ | ✗ | ✗ | ✓ |
5bd300ca | Pick up the cell phone | ✗ | ✗ | ✗ | ✗ |
90abdff7 | Pick up the pot | ✗ | ✓ | ✓ | ✓ |
c37034b6 | Pick up the remote control I moved earlier | ✓ | ✗ | ✓ | ✗ |
f1d604e3 | Pick up the soap bottle | ✓ | ✓ | ✓ | ✗ |
1088e876 | Pick up the spray bottle | ✗ | ✓ | ✗ | ✗ |
b7043eb1 | Pick up all the bowls I moved earlier | ✗ | ✗ | ✗ | ✗ |
1a2d1c87 | Pick up the cell phone | ✗ | ✗ | ✗ | ✗ |
fa4195b8 | Pick up the knife | ✓ | ✗ | ✗ | ✓ |
44c69dbf | Pick up the remote control I moved earlier | ✓ | ✗ | ✗ | ✓ |
| SR | 5/11 | 4/11 | 3/11 | 4/11 | |
bench 초기자세 노이즈로 mixv2도 1질의를 잃음(5→4). 같은 조건에서 mixv2 4 vs 공식 Pi0 3 — 1질의 차이로 사실상 동급(리더보드에서도 Pi0는 중위 35.7/39.6). 성공 질의가 서로 잘 안 겹치는 것(공통 90abdff7·f1d604e3뿐)이 VLA 간 편차가 큰 벤치임을 시사. 플래그십은 mixv2·Pi0가 전부 실패한 "사과 집기"를 성공.
3restore 3플랜(VLA가 pick+place) — 서브골 단위 비교
| 저수준 VLA | restore SR | pick 성공/시도 | VLA place 성공/시도(든 상태) | 낙하 | 빈손 place 호출 | place 상세(수용체: 결과) |
|---|---|---|---|---|---|---|
| π0.5 mixv2 (v14, home) | 0/3 | 3/23 (13%) | 0/3 | 3 | 1 | bed: drop, crapper: drop, chestofdrawers: drop |
| Cosmos3 Nano (v14b, home) | 0/3 | 6/25 (24%) | 2/6 | 3 | 0 | bed: drop, diningtable: ok, chestofdrawers: fail, chestofdrawers: ok, countertop: drop, bed: drop |
| 공식 Pi0-DROID (v15, bench) | 0/3 | 1/22 (5%) | 0/1 | 1 | 2 | crapper: drop |
| 플래그십 MolmoBot-DROID (v16, bench) | 0/3 | 5/12 (42%) | 1/6 | 4 | 0 | bed: drop, crapper: drop, countertop: drop, chestofdrawers: fail, chestofdrawers: ok, bed: drop |
| π0.5 mixv2 (v17, 접근 링) | 0/3 | 3/26 (12%) | 0/3 | 3 | 1 | bed: drop, countertop: drop, chestofdrawers: drop |
| Cosmos3 Nano (v17, 접근 링) | 0/3 | 3/14 (21%) | 1/5 | 2 | 0 | bed: drop, chestofdrawers: fail, countertop: fail, countertop: drop, bed: ok |
| 플래그십 MolmoBot-DROID (v17, 접근 링) | 0/3 | 4/16 (25%) | 0/5 | 4 | 0 | bed: drop, crapper: drop, chestofdrawers: fail, chestofdrawers: drop, countertop: drop |
| π0.5 mixv2 (v18, 링+정면) | 0/3 | 3/20 (15%) | 0/3 | 3 | 0 | bed: drop, crapper: drop, countertop: drop |
| Cosmos3 Nano (v18, 링+정면) | 1/3 | 4/13 (31%) | 2/4 | 2 | 1 | bed: ok, crapper: drop, countertop: drop, bed: ok |
| 플래그십 MolmoBot-DROID (v18, 링+정면) | 0/3 | 4/10 (40%) | 0/5 | 4 | 0 | bed: drop, crapper: drop, chestofdrawers: fail, chestofdrawers: drop, countertop: drop |
| π0.5 mixv2 (v19, 변 정방향) | 0/3 | 5/16 (31%) | 1/6 | 4 | 0 | bed: drop, crapper: drop, countertop: drop, chestofdrawers: fail, chestofdrawers: ok, bed: drop |
| Cosmos3 Nano (v19, 변 정방향) | 0/3 | 4/6 (67%) | 1/4 | 3 | 1 | bed: drop, crapper: drop, chestofdrawers: ok, chestofdrawers: drop |
| 플래그십 MolmoBot-DROID (v19, 변 정방향) | 0/3 | 4/11 (36%) | 1/4 | 3 | 1 | bed: drop, crapper: drop, countertop: ok, bed: drop |
| π0.5 mixv2 (v20, 정방향+무절단) | 0/3 | 3/16 (19%) | 1/3 | 1 | 2 | bed: drop, crapper: fail, countertop: ok |
| Cosmos3 Nano (v20, 정방향+무절단) | 0/3 | 2/19 (11%) | 0/3 | 2 | 1 | bed: drop, countertop: fail, chestofdrawers: drop |
| 플래그십 MolmoBot-DROID (v20, 정방향+무절단) | 2/3 | 3/25 (12%) | 2/3 | 1 | 1 | bed: ok, crapper: ok, countertop: drop |
최종 SR은 모두 0/3이지만 서브골 단위로는 차이가 큼: 플래그십은 pick 시도당 42%(다른 VLA 4–24%)로 가장 잘 집고, 서랍장에는 놓았으나 조리대 가장자리·침대·변기에서 4회 낙하. "든 채 내려놓기"는 여전히 어떤 VLA도 안정적으로 못 하는 병목이라 하네스 프리미티브 place(v10 2/3) 비교축은 유지.
3erestore 최종 비교 — 11플랜 × 3회 반복 (VLA당 33 에피소드, 최종 하네스)
| VLA | SR (n) | 95% CI (Wilson) | val_144 (3플랜) | val_406 (6) | val_733 (2) | pick 성공/시도 | 든 상태 place | 낙하 | 빈손 place 호출 |
|---|---|---|---|---|---|---|---|---|---|
| π0.5 mixv2 | 12/33 (36%) | 22–53% | 3/9 | 9/18 | 0/6 | 30/201 (15%) | 17/29 (59%) | 9 | 15 |
| Cosmos3 Nano | 13/33 (39%) | 25–56% | 3/9 | 10/18 | 0/6 | 28/248 (11%) | 17/29 (59%) | 6 | 5 |
| 플래그십 MolmoBot-DROID | 10/33 (30%) | 17–47% | 4/9 | 6/18 | 0/6 | 29/210 (14%) | 19/30 (63%) | 7 | 8 |
결론: restore SR로는 세 VLA가 통계적으로 구분되지 않는다(95% CI 완전 겹침). 차이는 서브골에서만 — 플래그십이 "든 상태 place"를 가장 잘 하고, pick(13–16%)은 셋 다 공통 병목. 컨텍스트 val_733(병·리모컨 2개)은 전 VLA 0.
| 컨텍스트 | 플랜(지시) | π0.5 mixv2 (성공/반복) | Cosmos3 Nano (성공/반복) | 플래그십 MolmoBot-DROID (성공/반복) |
|---|---|---|---|---|
| 144__2 | 0d9cb7 Pick up the remote control and place it in or on where it fi | 1/3 | 2/3 | 1/3 |
| 144__2 | 46187b Pick up the remote control and place it in or on where it wa | 2/3 | 1/3 | 3/3 |
| 144__2 | 91ec55 Pick up the bowls and place them in or on where they first w | 0/3 | 0/3 | 0/3 |
| 406__0 | 266277 Pick up the fork and place it in or on where it first was | 0/3 | 1/3 | 0/3 |
| 406__0 | 30c02a Pick up the vase and place it in or on where it first was | 2/3 | 1/3 | 0/3 |
| 406__0 | 60773b Pick up the bowl and place it in or on where it first was | 2/3 | 3/3 | 2/3 |
| 406__0 | b83407 Pick up the fork and place it in or on where it was just bef | 2/3 | 2/3 | 1/3 |
| 406__0 | d4bb3c Pick up the tissue box and place it in or on where it first | 3/3 | 3/3 | 3/3 |
| 406__0 | db07c3 Pick up the fork and place it in or on where it first was, t | 0/3 | 0/3 | 0/3 |
| 733__0 | 941216 Pick up the bottle and place it in or on where it first was | 0/3 | 0/3 | 0/3 |
| 733__0 | fb146c Pick up the remote controls and place them in or on where th | 0/3 | 0/3 | 0/3 |
3drestore 11플랜 (v21: 3 컨텍스트 × 3 VLA, 최종 하네스) — 표본 확대
| VLA | SR (11플랜) | val_144__2 (3) | val_406__0 (6) | val_733__0 (2) | pick 성공/시도 | VLA place 성공/시도(든 상태) | 낙하 | 빈손 place 호출 |
|---|---|---|---|---|---|---|---|---|
| 플래그십 | 2/11 | 1/3 | 1/6 | 0/2 | 8/93 (9%) | 4/7 | 2 | 3 |
| Cosmos | 4/11 | 1/3 | 3/6 | 0/2 | 8/93 (9%) | 6/9 | 0 | 2 |
| mixv2 | 5/11 | 1/3 | 4/6 | 0/2 | 10/62 (16%) | 8/10 | 1 | 6 |
절단 없는 하네스에서 든 상태 place는 세 VLA 모두 대체로 성공(mixv2 8/10, Cosmos 6/9, 플래그십 4/7). 병목은 pick(9–16%/시도): 새 집(val_406)의 포크·꽃병 등 소형 물체를 플래그십·Cosmos가 거의 못 집음. 11플랜 SR: mixv2 5 > Cosmos 4 > 플래그십 2 — 3플랜(val_144) 결과와 순위가 다름 → 논문 표는 11플랜 기준으로.
| 컨텍스트 | 플랜(지시) | 플래그십 | Cosmos | mixv2 |
|---|---|---|---|---|
| al_144__2 | 91ec55 Pick up the bowls and place them in or on where they first were, then | ✗ | ✗ | ✗ |
| al_144__2 | 0d9cb7 Pick up the remote control and place it in or on where it first was | ✗ | ✓ | ✓ |
| al_144__2 | 46187b Pick up the remote control and place it in or on where it was just bef | ✓ | ✗ | ✗ |
| al_406__0 | 60773b Pick up the bowl and place it in or on where it first was | ✗ | ✓ | ✓ |
| al_406__0 | 266277 Pick up the fork and place it in or on where it first was | ✗ | ✓ | ✗ |
| al_406__0 | db07c3 Pick up the fork and place it in or on where it first was, then pick u | ✗ | ✗ | ✗ |
| al_406__0 | b83407 Pick up the fork and place it in or on where it was just before | ✗ | ✗ | ✓ |
| al_406__0 | d4bb3c Pick up the tissue box and place it in or on where it first was | ✓ | ✓ | ✓ |
| al_406__0 | 30c02a Pick up the vase and place it in or on where it first was | ✗ | ✗ | ✓ |
| al_733__0 | 941216 Pick up the bottle and place it in or on where it first was | ✗ | ✗ | ✗ |
| al_733__0 | fb146c Pick up the remote controls and place them in or on where they first w | ✗ | ✗ | ✗ |
3apick — 물체/표면별 성공률 (restore 3플랜 런 누적)
| VLA (런 누적) | 그릇#1 (안락의자·쿠션) | 그릇#2 (식탁) | 리모컨 (식탁/변기) |
|---|---|---|---|
| 플래그십 (v16–v20) | 3/31 (10%) | 5/22 (23%) | 12/21 (57%) |
| Cosmos (v14b,v17–v20) | 3/12 (25%) | 4/10 (40%) | 11/52 (21%) |
| mixv2 (v14,v17–v20) | 2/35 (6%) | 5/29 (17%) | 10/35 (29%) |
세 VLA 모두 쿠션(안락의자) 위 그릇이 최약점(6–25%), 식탁 위 리모컨이 최강(플래그십 57%). 플래그십 v20 플랜1 실패는 이 그릇을 23회 못 집은 것 — place가 아니라 pick 병목.
3b"place 할 때 더 가까이 두면?" — 접근 거리 ablation (v17)
하네스 변경(29700b9): 든 채 receptacle로 navigate할 때 중심 반경을 가까운 링부터 (0.3–0.45 → 0.45–0.6 → 0.6–0.8) 시도. pick 접근은 종전 그대로. 각 VLA는 자기 이전 런과 접근 거리만 다름(같은 3플랜·같은 VLM·같은 판정).
| 런 | VLA place 성공/시도 | 낙하 | 평균 도착거리(중심) | 평균 |방위각|(정면=0) | 수용체: 거리/방위각→결과 (P=둘레 폴백) |
|---|---|---|---|---|---|
| π0.5 mixv2 v14 (종전) | 0/3 | 3 | 1.07 m | 8° | bed:1.87P/+0°→drop, crapper:0.67/-7°→drop, chestofdrawers:0.66/-18°→drop |
| π0.5 mixv2 v17 (링) | 0/3 | 3 | 1.02 m | 25° | bed:1.85P/+0°→drop, countertop:0.52/+41°→drop, chestofdrawers:0.68/+35°→drop |
| Cosmos v14b (종전) | 2/6 | 3 | 1.04 m | 23° | bed:1.89P/+0°→drop, diningtable:0.57/-37°→ok, chestofdrawers:0.77/-30°→timeout, chestofdrawers:0.71/-36°→ok, countertop:0.44/-36°→drop, bed:1.84P/+0°→drop |
| Cosmos v17 (링) | 1/5 | 2 | 1.07 m | 21° | bed:1.89P/+0°→drop, chestofdrawers:0.78/+42°→timeout, countertop:0.42/-31°→timeout, countertop:0.42/-31°→drop, bed:1.82P/+0°→ok |
| 플래그십 v16 (종전) | 1/6 | 4 | 1.05 m | 22° | bed:1.88P/-0°→drop, crapper:0.61/+29°→drop, countertop:0.49/+33°→drop, chestofdrawers:0.70/-37°→timeout, chestofdrawers:0.80/-34°→ok, bed:1.84P/+0°→drop |
| 플래그십 v17 (링) | 0/5 | 4 | 0.85 m | 23° | bed:1.81P/+0°→drop, crapper:0.69/+14°→drop, chestofdrawers:0.78/+39°→timeout, chestofdrawers:0.57/-40°→drop, countertop:0.39/-20°→drop |
| π0.5 mixv2 v18 (링+정면) | 0/3 | 3 | 0.96 m | 10° | bed:1.84P/+0°→drop, crapper:0.61/+31°→drop, countertop:0.44/+0°→drop |
| Cosmos v18 (링+정면) | 2/4 | 2 | 1.24 m | 0° | bed:1.90P/-0°→ok, crapper:0.72/-0°→drop, countertop:0.55/-0°→drop, bed:1.78P/+0°→ok |
| 플래그십 v18 (링+정면) | 0/5 | 4 | 0.87 m | 8° | bed:1.84P/-0°→drop, crapper:0.59/-38°→drop, chestofdrawers:0.79/+0°→timeout, chestofdrawers:0.79/+0°→drop, countertop:0.33/-0°→drop |
| π0.5 mixv2 v19 (정방향) | 1/6 | 4 | 1.24 m | 6° | bed:1.46/-2°→drop, crapper:0.73/+6°→drop, countertop:1.86P/-2°→drop, chestofdrawers:0.94/-17°→timeout, chestofdrawers:0.79/+9°→ok, bed:1.64P/+0°→drop |
| Cosmos v19 (정방향) | 1/4 | 3 | 0.93 m | 9° | bed:1.73P/-2°→drop, crapper:0.54/+6°→drop, chestofdrawers:0.81/-23°→ok, chestofdrawers:0.63/+7°→drop |
| 플래그십 v19 (정방향) | 1/4 | 3 | 1.42 m | 3° | bed:1.40/-1°→drop, crapper:0.74/+10°→drop, countertop:1.97P/+2°→ok, bed:1.57P/+0°→drop |
| π0.5 mixv2 v20 (정방향+무절단) | 1/3 | 1 | 1.43 m | 2° | bed:1.50P/-0°→drop, crapper:0.77/+4°→timeout, countertop:2.04P/-1°→ok |
| Cosmos v20 (정방향+무절단) | 0/3 | 2 | 1.36 m | 9° | bed:1.53P/+0°→drop, countertop:1.88P/-2°→timeout, chestofdrawers:0.68/-25°→drop |
| 플래그십 v20 (정방향+무절단) | 2/3 | 1 | 1.03 m | 3° | bed:1.56P/-1°→ok, crapper:0.54/+7°→ok, countertop:1.00/+1°→drop |
사용자 지적(영상): "가까이는 가는데 놓을 곳이 정면이 아니라 옆에 있다" → 실측 방위각 ±14–42°(위 표). 원인:
env.place_robot_near(face_target=True)가 타깃 방향 yaw에 MolmoSpaces 학습 증강 robot_placement_rotation_range_rad(±45°) 균등 노이즈를 더함 — v9~v17 모든 place 접근에 들어감(모든 VLA 동일). 우리가 yaw를 직접 계산하는 둘레 폴백(침대)만 정면(0°). 추가로 place 시작 시 팔은 pick이 끝난 자세(관절1 최대 ±30°) 그대로 이월. 수정(2871ee0): 든 채 receptacle 접근에서 yaw를 수용체 중심 정면으로 재설정(facing_pose, approach_mode center_faced), pick 접근은 학습 분포 유지 → v18 3 VLA 재실행.v18 영상 재지적: "정면이라는데 45° 기울어져 있다" — 맞음. v18은 수용체 body 원점을 향해 yaw를 맞췄지만 베이스 위치는 중심 반경 링의 임의 자유점이라 가구 모서리에 서는 경우(서랍장 91ec5513) 가구 정면과 45° 어긋남; 변기는 receptacle 분류(no_match)를 못 받아 정면 보정이 아예 안 들어감(−38°). 수정(46b5d70): 든 채 navigate는 receptacle 분류와 무관하게 footprint AABB 변 중앙 바깥에 서서 변의 법선을 마주 봄(
square_approach_candidates, approach_mode square; 실패 시 중심 링+정면 폴백) → v19 3 VLA 재실행.v17(링만): 거리는 줄었지만(플래그십 평균 1.05→0.85 m, 조리대 0.49→0.39, 서랍장 0.70/0.80→0.57/0.78) place 성공·낙하는 개선되지 않음. 대형 가구는 점유맵 agent_radius 0.3 + 안전반경 0.3 때문에 0.6 m 아래로는 못 붙고(서랍장), 침대는 애초에 둘레에 붙어 서도(0.03–0.13 m) 낙하. 결론: 낙하의 주 원인은 도착 거리가 아니라 정책의 릴리즈 습성(가장자리/공중에서 그리퍼 개방). 침대 거리 1.8 m는 중심 기준이며 실제로는 footprint에 붙어 선 값(P).
3cplace 전용 프로브 (로그인, 절단 없는 루프 + 변 정방향) — "제대로 놓으려는데 끊긴다"
사용자 지적(플래그십 영상): 정책이 놓으려는 도중 서브골이 끊김. 원인: MS 태스크의 judge_success(footprint 휴리스틱 — 든 채 수용체 위로 가져가기만 해도 참)가
stop_on_success/infos["success"]로 루프를 종료 → 엄격 판정은 미배치, 릴리즈 중이면 "낙하". v14~v19 전 VLA에 1~60스텝 절단 30건. 수정(d94c76d): 든 채 내려놓기는 is_placed_on 또는 horizon으로만 종료.
프로브(tmp/place_only_probe.py): VLA pick 1회 → 물리 상태(+베이스 포즈) 스냅샷 → 수용체마다 복원·정방향 접근·place만 실행(128스텝).
| VLA (물체) | pick 시도 | 조리대 | 서랍장 | 식탁 | 침대 | 변기 | 합계(든 상태 place) |
|---|---|---|---|---|---|---|---|
| 플래그십 MolmoBot-DROID (리모컨, bench) | 2회차 75스텝 | ✓ 66스텝, 릴리즈 61 | ✓ 31스텝, 릴리즈 30 | ✓ 90스텝, 릴리즈 88 | 낙하 128스텝, 릴리즈 41 | ✓ 2스텝, 릴리즈 1 | 4/5 |
| Cosmos3 Nano (리모컨, home) | 1회차 98스텝 | 미완(든 채) 128스텝 | ✓ 92스텝, 릴리즈 89 | ✓ 31스텝, 릴리즈 7 | 낙하 128스텝, 릴리즈 31 | 낙하 128스텝, 릴리즈 1 | 2/5 |
| 플래그십 (그릇, 1차 — 복원 결함으로 조리대만 유효) | 2회차 99스텝 | 미완(든 채) 128스텝 | 낙하 128스텝 | 낙하 128스텝 | ✓ 4스텝 | 낙하 128스텝 | 1/5 |
플래그십(리모컨): 조리대 66스텝 ✓ · 서랍장 31 ✓ · 식탁 90 ✓ · 침대 낙하 · 변기 "✓"(첫 액션에서 미끄러져 변기 위 안착, 요행). 절단만 없애면 평면 상판 3/3 — v16~v19의 "플래그십은 못 놓는다"는 하네스 절단의 산물이었음.
프로브 플래그십 MolmoBot-DROID (리모컨, bench) → countertop: ✓ (66스텝, 릴리즈 61) (좌 exo / 우 wrist)
프로브 플래그십 MolmoBot-DROID (리모컨, bench) → dresser: ✓ (31스텝, 릴리즈 30) (좌 exo / 우 wrist)
프로브 플래그십 MolmoBot-DROID (리모컨, bench) → table: ✓ (90스텝, 릴리즈 88) (좌 exo / 우 wrist)
프로브 플래그십 MolmoBot-DROID (리모컨, bench) → bed: 낙하 (128스텝, 릴리즈 41) (좌 exo / 우 wrist)
프로브 플래그십 MolmoBot-DROID (리모컨, bench) → toilet: ✓ (2스텝, 릴리즈 1) (좌 exo / 우 wrist)
프로브 Cosmos3 Nano (리모컨, home) → countertop: 미완(든 채) (128스텝) (좌 exo / 우 wrist)
프로브 Cosmos3 Nano (리모컨, home) → dresser: ✓ (92스텝, 릴리즈 89) (좌 exo / 우 wrist)
프로브 Cosmos3 Nano (리모컨, home) → table: ✓ (31스텝, 릴리즈 7) (좌 exo / 우 wrist)
프로브 Cosmos3 Nano (리모컨, home) → bed: 낙하 (128스텝, 릴리즈 31) (좌 exo / 우 wrist)
프로브 Cosmos3 Nano (리모컨, home) → toilet: 낙하 (128스텝, 릴리즈 1) (좌 exo / 우 wrist)
4증거 (영상·키프레임)
플래그십 스모크: 식탁 bowl pick (68스텝, bench 초기자세) — 공식 Pi0는 같은 조건 1/22
플래그십 ctx3 af734de9 "사과 집기" 성공(116스텝) — mixv2·공식 Pi0 모두 실패했던 질의 (좌 exo / 우 wrist)
플래그십 restore 91ec5513: bowl → 서랍장 VLA place 성공(2회차, 96스텝) (좌 exo / 우 wrist)
같은 플랜: bowl → 조리대 place, 가장자리에서 놓아 낙하(98스텝) (좌 exo / 우 wrist)
같은 플랜: 리모컨 → 침대 place 낙하(72스텝) — 침대는 모든 VLA 0승 (좌 exo / 우 wrist)
공식 Pi0-DROID 스모크(초기자세 수정 전): 완전 정지(diff 0.000)
v17 접근 링 플래그십 91ec5513: bowl → 서랍장, 0.57 m까지 붙였는데도 낙하(128스텝) — v16(0.80 m)에선 성공했던 place (좌 exo / 우 wrist)
v17 플래그십: bowl → 조리대 0.39 m, 8스텝 만에 낙하(시작하자마자 그리퍼 개방) (좌 exo / 우 wrist)
v17 mixv2: bowl → 조리대 0.52 m, 115스텝 낙하 (좌 exo / 우 wrist)
v17 Cosmos: 리모컨 → 침대 성공(75스텝) — 전 VLA 통틀어 첫 침대 place 성공(접근은 종전 둘레 폴백이라 변경 효과 아님) (좌 exo / 우 wrist)
v18 링+정면 Cosmos 91ec5513: → bed place 성공(62스텝) (좌 exo / 우 wrist)
v18 링+정면 Cosmos 46187b3e: → crapper place 낙하(107스텝) (좌 exo / 우 wrist)
v18 링+정면 플래그십 91ec5513: → chestofdrawers place 낙하(128스텝) (좌 exo / 우 wrist)
v18 링+정면 mixv2 0d9cb78f: → bed place 낙하(128스텝) (좌 exo / 우 wrist)
v19 변 정방향 Cosmos 91ec5513: → chestofdrawers place 낙하(5스텝) (좌 exo / 우 wrist)
v19 변 정방향 플래그십 91ec5513: → countertop place 성공(44스텝) (좌 exo / 우 wrist)
v19 변 정방향 플래그십 91ec5513: → bed place 낙하(12스텝) (좌 exo / 우 wrist)
v19 변 정방향 mixv2 91ec5513: → countertop place 낙하(2스텝) (좌 exo / 우 wrist)
v20 정방향+무절단 Cosmos 91ec5513: → chestofdrawers place 낙하(128스텝) (좌 exo / 우 wrist)
v20 정방향+무절단 플래그십 91ec5513: → countertop place 낙하(128스텝) (좌 exo / 우 wrist)
v20 정방향+무절단 플래그십 0d9cb78f: → bed place 성공(50스텝) (좌 exo / 우 wrist)
v20 정방향+무절단 mixv2 0d9cb78f: → bed place 낙하(128스텝) (좌 exo / 우 wrist)
턴별 전체 영상·관측·VLM 노트(플랜마다 모든 subgoal 영상 포함): restore v15 공식 Pi0-DROID · restore v16 플래그십 · restore v17 플래그십(접근 링) · restore v17 Cosmos(접근 링) · restore v17 mixv2(접근 링) · restore v18 플래그십(링+정면) · restore v18 Cosmos(링+정면) · restore v18 mixv2(링+정면) · restore v19 플래그십(변 정방향) · restore v19 Cosmos(변 정방향) · restore v19 mixv2(변 정방향) · restore v20 플래그십(무절단) · restore v20 Cosmos(무절단) · restore v20 mixv2(무절단) · restore11 v21 플래그십 · restore11 v21 Cosmos · restore11 v21 mixv2 · find ctx3 v16 플래그십
플래그십 스모크 키프레임: 그릇 테두리를 잡고 들어올림
조리대 낙하의 마지막 프레임(exo/wrist): 가장자리 위에서 릴리즈 → 바닥 판정
5실패 사례와 교훈
① 공식 Pi0 완전 정지 — 원문: 4 스모크 프레임 diff 0.000–0.083, 팔이 미동도 없음. 원인: 초기 팔 자세가 학습 분포 밖(노이즈 0 홈). 교훈: 외부 정책을 꽂을 땐 벤치 초기조건 분포(자세·프롬프트 문장)까지 재현해야 하며, "렌더러/도메인" 같은 큰 가설보다 단일 요인 이등분이 빠르다(총 ~3시간).
② 플래그십 2번째 플랜에서 1시간 정지 — 원문: CPU·GPU 0%,
sprobe sockets에 서버로 가는 ESTABLISHED 연결 2개. 원인: 플래그십 서버는 연결 수명 동안 Semaphore(1)을 잡는데 하네스가 플랜마다 새 policy를 만들며 이전 websocket을 안 닫음 → 새 연결이 영원히 대기. 수정: 플랜 끝 policy.close()(db8bc2b). 교훈: 서버 교체 시 동시성 모델(연결당 잠금)을 확인하고, 정지 진단은 sprobe 소켓 표부터.③ 조리대·침대 낙하 — 원문: 91ec5513 bowl→countertop 98스텝 가장자리 릴리즈, remote→bed 72스텝 낙하, 46187b3e remote→toilet 61스텝 낙하. 원인: 수용체 가장자리/비평면 위에서 그리퍼를 여는 정책 습성(학습 데이터가 탁상 PnP 중심). 교훈: VLA place는 평면 중앙에서만 기대 가능 — 결과표엔 "낙하" 열을 따로 두고, 도착 위치(nav)가 아니라 정책 릴리즈 위치가 원인임을 액션 로그(steps·dropped)로 판정.
④ VLM 오판 done — 원문: ctx3 19ae1ba6 "옮긴 그릇 다 집어": 안락의자 그릇 2회 실패 후 식탁 그릇만 집고 "둘 다 집었다"며 done. 원인: 프레임만 보고 성공을 추정. 교훈: 성공 판정·집계는 하네스 액션 로그로만(모션 판정 규칙과 동일).
6Takeaway · Next
"리더보드 49.8/66.8"의 주체는 플래그십 MolmoBot-DROID이고, 그 모델은 우리 씬에서도 집기는 가장 잘 한다. 그러나 restore(=PnP 완주)는 어떤 VLA도 0/3이고, open/close/press는 학습 데이터 자체가 없다. 논문의 VLA 축은 "pick 성공률·place 성공률·낙하"를 서브골 단위로 보고하는 편이 SR만 보고하는 것보다 정보량이 크다.
- 플래그십 ctx3 완료 시 표 갱신(진행 중이면 이 페이지 재생성).
- 플래그십 pick + 하네스 프리미티브 place 조합(v10 방식)으로 restore SR 축 하나 더.
- open/close/press: MolmoSpaces 과제 데이터 생성 + FT 또는 프리미티브 — 별도 결정.