2026-08-23 — Experiment (online restore, VLA swap)
저수준 VLA 교체: π0.5 mixv2 → Cosmos3-Nano-Policy-DROID (restore 3플랜, VLA가 pick+place)
v1 val_144__2 · textlog@gemini-3.6-flash · 턴 = VLA 128스텝 · navigate = A* 주행 · 다른 모든 것 동일, `--policy cosmos`만 변경 · 어댑터: RoboLab 클라이언트와 동일(합성 540×640, 그리퍼 0=open/1=closed, 청크 32, 절대 관절)
TL;DR — (1) 배선은 어댑터 1개(커밋 f2fb0a0): 1.0 s/추론. (2) Cosmos는 π0.5가 못 하던 "든 채 내려놓기"를 평면 상판(서랍장·조리대·식탁)에서 가끔 해낸다 — 엄격 판정 4/13, π0.5는 0/4(느슨 판정 런 포함 0/7). (3) 그래도 restore SR은 두 정책 모두 0/3: 침대는 0/7(도착을 0.85→0.3 m로 붙여도 매트리스 가장자리에서 놓아 낙하), 변기는 미개방/낙하, pick도 런마다 편차 큼(remote 4/5 ↔ 1/14). (4) 과정에서 하네스 3건 수정: 놓임 판정(공중·문 채 누름 제외, 2cf12fc·0fa92d4), 낙하 감지→VLM 통보(56e2ae0), navigate 둘레 접근 정렬(침대 0.85→0.3 m, d22cf45). 프리미티브 v10 결과 무영향.
4/13
Cosmos VLA place (엄격)
0/4
π0.5 VLA place (v14, 같은 하네스)
0/7
침대 place (두 정책 합산)
0/3 ×7런
restore SR (VLA place) · v10 프리미티브 2/3
1런 비교
| 런 | 저수준 VLA | place | 판정 / nav | remote→bed | remote→toilet | bowls+remote (multi) | SR | pick 성공/시도 | VLA place 성공/시도(비공허) |
|---|---|---|---|---|---|---|---|---|---|
| v9vla | π0.5 mixv2 | VLA | MS PickAndPlaceTask / 구 nav | ✗ 낙하 1.56 m | ✗ 낙하 0.60 m | ✗ | 0/3 | remote ✓ · bowl 22회 ✗ | 0/3 |
| v10 (기준) | π0.5 mixv2 | 하네스 프리미티브 | is_placed_on / 구 nav(무관) | ✓ d 0.71 | ✓ d 0.13 | ✗ bowl pick 반복 실패 | 2/3 | bowl ✗ 반복 | — (프리미티브 3/3) |
| v11 | Cosmos3 Nano DROID | VLA | MS(공중 포함, 오류) / 구 nav | ✗ 낙하 1.45 m | ✗ 든 채 "성공"→done | ✗ | 0/3 | remote 2/2 플랜, bowl#1 ✓ | 0/7 |
| v12 | Cosmos3 | VLA | is_placed_on(문 채 누름 포함, 오류) / 구 nav | ✗ VLM 포기 | "✓" 문 채 누름 | ✗ 두 bowl "놓은" 뒤 바닥 | 1/3→실제 0/3 | remote 1/8, bowl 2/4 | "3/3"→실제 0/3 |
| v13 | Cosmos3 | VLA | 엄격(지지+로봇 접촉 없음) / 구 nav(침대 0.85 m) | ✗ 낙하(감지 ✓) | ✗ 미개방 | ✗ bowl 2/3 답 ✓ | 0/3 (답 2/5) | remote 4/5 · bowl 2/8 | 2/5 |
| v14 π0.5 | π0.5 mixv2 | VLA | 엄격 / nav 수정(침대 0.3 m) | ✗ 낙하 | ✗ 32스텝 낙하 | ✗ pick 1/20 | 0/3 | remote 2/3 · bowl 1/20 | 0/4 |
| v14 Cosmos | Cosmos3 | VLA | 엄격 / nav 수정 | ✗ 낙하(z 0.51) | ✗ pick 0/12(리모컨 바닥행) | ✗ 두 bowl 들고 놓임 0 | 0/3 | remote 1/14 | 0/2 (영상 유실) |
| v14b Cosmos | Cosmos3 | VLA | 엄격 / nav 수정 | ✗ 낙하(0.3 m 접근) | ✗ 식탁에 되놓음(수용체 오선택) | ✗ bowl#1 dresser ✓, bowl#2·remote 낙하 | 0/3 (답 1/5) | 6/24 | 2/6 |
| 누적(엄격 판정 런): Cosmos VLA place 4/13 (평면 상판 4/13 · 침대 0/7 · 변기 0/2) · π0.5 0/4 (v9 포함 0/7) · restore SR 둘 다 0/3(프리미티브 v10만 2/3) | |||||||||
v11·v12의 "성공"은 판정 오류(수용체 위 공중 / 문 채 누름). v13부터 "놓임 = 수용체 지지 + 로봇 접촉 없음". v14부터 navigate 둘레 접근이 가까운 링 우선(침대 도착 0.85→0.3 m). v14 Cosmos는 같은 out_root에 동시 실행한 π0.5에 영상·턴 기록이 덮어써져 jsonl 결과만 남음(→ OUT_ROOT 분리, v14b 재표본).
2증거 (키프레임)
v11 remote→bed: Cosmos pick ✓ → 침대 모서리에서 놓아 바닥으로 낙하 — 당시 도착 거리 0.85 m(침대 AABB 바깥), 하네스는 '든 상태' 유지(F6 수정 계기)
v12 '성공'의 실체: 변기·서랍장 위에 문 채로 누른 상태가 is_placed_on 통과 → '놓음 = 손 뗌' 조건 추가 계기
v13 성공 2건: bowl#1→dresser(16스텝, 손 뗌), bowl#2→countertop(106스텝, 조심히 내려놓고 손 뗌)
v13 실패 3건: toilet 128스텝 그리퍼 미개방 / bed ×2 모서리 낙하(낙하 감지 → VLM done)
v14 π0.5(nav 수정 후): bed 낙하 · toilet 32스텝 만에 놓쳐 낙하 — π0.5 VLA place 0/4
v14b Cosmos(nav 수정 후, 도착 0.3 m): dresser ✓(6스텝, 가장자리) / dresser 1회차 ✗ / countertop 낙하 / bed ×2 낙하(붙어 서도 매트리스 가장자리에서 놓음)
턴별 전체 영상·관측·노트: v14b Cosmos · v14 π0.5 · v13 · v12 · v11 · 기준 π0.5 v10(프리미티브)
3Takeaway
DROID 실데이터로 학습한 Cosmos는 "들고 와서 내려놓기" 중간 상태가 분포 안에 있다는 가설대로 평면 수용체에는 가끔 내려놓는다(4/13; 조리대는 106스텝 동안 조심히 내려놓고 손을 뗀 사례). 그러나 (a) 침대 0/7 — 매트리스 가장자리가 경사·부드러워 두 정책 모두 가장자리에서 놓고, 프리미티브도 12/12 미끄러졌던 표면, (b) 변기 — 좁은 비평면, (c) pick 편차(쿠션 위 bowl 1/7~2/8, remote 1/14~4/5)가 restore SR을 0으로 묶는다. "VLA만 바꾼 표 한 축"은 `POLICY=cosmos`로 즉시 가능하고, find(ctx3/전체)로 확장하면 pick 축 비교가 된다.
하네스 정리: F6 해소(낙하를 접촉으로 감지해 VLM에 "dropped" 통보 — v13/v14/v14b 침대 낙하에서 동작; VLM은 재시도 대신 done을 택함), 공허 성공(이미 수용체 위인 물체 pick_and_place, 0스텝)은 하네스가 무효 표기하지만 VLM에는 "성공"으로 보여 v14b toilet에서 식탁 되놓기 루프를 만들었다 — 다음 하네스 수정 후보.