Phase 0b — 정책 카메라 오라클 goal 렌더로 restore place, 40칸 (런 2)

1배경/목적 (왜)

Phase 0(260917): 기억 프레임을 goal로 넣어도 12롤아웃 중 원래 자리 15 cm 안 0/6. 진단은 (1) 프레임 종류가 학습 goal과 다름(로봇 장착 카메라·물체 0.1~0.3%) (2) pick 실패 (3) 큰 가구에서 원래 자리와 먼 곳에 섬. 이후 (2)·(3)은 자리 게이트와 원래 자리 앵커로 손봤고(docs/nav_pose_gate.md), (1)은 이번에 정책 카메라 오라클 렌더로 대체한다. 사용자: "골 이미지 넣고 성공하는 거까지 해볼까?"

2설정 (어떻게)

• 칸: restore 적격 칸(seed 260917) 앞 40칸(감사 40칸과 32칸 겹침). 조건 3종을 칸마다 회전한 순서로 같은 종료 상태에서 돈다(--rotate-conditions).
• 대본: navigate(obj) → pick → navigate(to_surface, 든 채, 원래 자리 앵커) → pick_and_place(goal 조건) → done. VLM 없음.
• render: place 서브골 직전(exo 재배치 뒤)에 goal_render.render_goal_at_origin — 든 물체를 traj.h5 tracked_obj_pose의 원래 자세로 잠깐 옮겨 randomized_zed2_analogue_1로 렌더, 되돌림. exo 재배치 중심도 가구 중심이 아니라 놓을 자리(앵커)로 바꿈(큰 가구에서 정책 화면에 놓을 자리가 없던 결함).
• oracle: Phase 0과 같은 기억 프레임(원위치 구간 최대 픽셀 exo 프레임). off: goal 없음.
• 든 채 이동은 carry_retract=on(EEF 중립 접기, 다른 세션 260918) — 런 1(끔)은 뻗은 팔의 물체가 상판을 뚫은 채 place에 들어가 16행 중 10행이 바닥으로 떨어져 폐기.
• 채점: place 진입 시 실제로 든 칸만(held_at_place = pick 성공 ∧ 이동 후 carry 유지). replace@r = 방출 ∧ xy ≤ r ∧ |dz| ≤ 5 cm.

3결과 (수치)

정책 pi05_goal_v2. 칸마다 3조건을 같은 종료 상태에서 순서대로 돈다. 분모: place 서브골 진입 시 실제로 물체를 들고 있던 칸(held_at_place).

오라클 렌더(정책 카메라) vs goal 없음 (둘 다 든 채 도착한 칸 쌍 n=4): d_xy 중앙값 0.358 → 0.193 m, 단축 0.165 m, Wilcoxon p=None → FAIL (사전 등록: 단축 ≥0.10 m ∧ p<0.05, n≥6)

기억 프레임(컨텍스트 영상) vs goal 없음 (둘 다 든 채 도착한 칸 쌍 n=4): d_xy 중앙값 0.386 → 0.346 m, 단축 0.039 m, Wilcoxon p=None → FAIL (사전 등록: 단축 ≥0.10 m ∧ p<0.05, n≥6)

오라클 렌더(정책 카메라) vs 기억 프레임(컨텍스트 영상) (둘 다 든 채 도착한 칸 쌍 n=4): d_xy 중앙값 0.418 → 0.258 m, 단축 0.16 m, Wilcoxon p=None → FAIL (사전 등록: 단축 ≥0.10 m ∧ p<0.05, n≥6)

읽는 법: 'held'는 place 진입 시 든 칸 수. @r은 그 칸들 중 비율. 쌍 비교는 두 조건 모두 든 칸만이라 n이 작다.

조기 종료: place 스텝 분포 render [0, 4, 10, 21, 32, 34, 158, 300, 300, 300], off [0, 10, 34, 55, 175, 296, 300×4]. 0~10스텝 행은 preplace(표면 점 15 cm 위로 IK) 직후 물체가 놓이거나 정책이 첫 청크에 놓은 경우 — 위치는 preplace xy가 정한다. preplace 도달 16/18(final_l2 < 5 cm).

낙하: 접기 낙하 37/64(slip 0.15~0.65 m, 같은 물체가 되기도 안 되기도), place 중 낙하(바닥) render 3·oracle 2·off 4.

4칸별

5증거 — goal 화면과 place 영상

@10cm 성공 순으로 든 채 도착한 에피소드 6개: 정책에 들어간 goal 렌더(있으면), place 영상, 도착 직후 기록 카메라.

restore:train_6233__1:q04 · cup → chair · 오라클 렌더(정책 카메라) · 성공 @10cm · d_xy 0.08405537810214338 m · 베이스→원래 자리 0.442 m · 앵커 given

restore:train_6278__2:q04 · mug → diningtable · 기억 프레임(컨텍스트 영상) · 실패 · d_xy 0.04593885998374175 m · 베이스→원래 자리 0.477 m · 앵커 given

restore:train_6233__1:q04 · cup → chair · goal 없음 · 정답 가구 위(원래 자리에서 0.12 m) · d_xy 0.12167335708041588 m · 베이스→원래 자리 0.484 m · 앵커 given

restore:train_6878__2:q01 · cell phone → crapper · goal 없음 · 실패 · d_xy 0.12631024994710693 m · 베이스→원래 자리 0.397 m · 앵커 given

restore:train_8287__1:q00 · tissue box → sink · 오라클 렌더(정책 카메라) · 정답 가구 위(원래 자리에서 0.14 m) · d_xy 0.13584837557679205 m · 베이스→원래 자리 0.276 m · 앵커 given

restore:train_6278__2:q04 · mug → diningtable · 오라클 렌더(정책 카메라) · 정답 가구 위(원래 자리에서 0.17 m) · d_xy 0.171039894979754 m · 베이스→원래 자리 0.478 m · 앵커 given

6의미 (Takeaway)

• goal 렌더는 학습 goal과 같은 종류의 화면을 만든다(스모크 확인)는 점은 됐고, 방향도 맞아 보이지만 측정이 안 된 상태다. 파이프라인 손실(pick 기준·접기 낙하·조기 방출)이 goal 효과를 가린다.
• pick 성공 기준 1 cm은 너무 이르다(사용자 지적) — 5 cm·유지 2회로 바꿈(런 3). 접기 낙하율이 얼마나 줄지 그 런이 답한다.
• place 판정 is_placed_on은 '로봇이 뗀 뒤 수용체 지지'라 옳지만, preplace가 물체를 표면 15 cm 위에 가져다 놓으면 정책은 바로 놓는다. goal 조건화를 재려면 정책에게 옆으로 옮길 스텝이 있어야 한다 — preplace를 더 높이/앵커에서 떨어진 중립 점으로, 또는 preplace 없이 접힌 자세에서 정책이 전부 하게.
• 큰 가구에서 exo 재배치 중심이 가구 중심이던 결함은 goal과 무관하게 place 전반에 영향을 주던 것 — 이번에 고쳤다(place_workspace_center).

7보완점/다음 (Next)

1. 런 3(pick ≥5 cm·유지 2회, 잡 134984/134986/134678/134679, extra QOS 대기) — 접기 낙하율·held 수 확인.
2. 결정 필요: place 진입을 어떻게 둘지 — (a) preplace 높이를 올리거나 앵커에서 0.2 m 떨어진 중립 점으로 (b) preplace 생략(접힌 자세에서 정책이 전부) (c) 오라클 파지(pick·접기 손실 제거, place만 40칸 전부). 권장 (a)+(c).
3. MolmoBot goal 모델(hand-off 벤치 63.8%@10)은 아직 안 돌림 — 파이프라인이 정리된 뒤.
4. 훅(nav0·drive·orchestrator·online.py·subgoal_factory)은 작업 트리 — 다른 세션 작업과 함께 커밋.