navigate 자리 감사 — 벽 건너편·안 보는 자리는 왜 나오나, 게이트로 얼마나 없어지나

1배경/목적 (왜)

사용자 지적(260917): 온라인 런에서 로봇이 가구를 안 보고 서거나, 벽을 뚫고 넣으라는 듯 벽 건너편에 서는 경우가 있다. 자리 카탈로그(navi 하네스 v2)를 만드는 이유도 결국 이런 자리를 없애려는 것이므로, 카탈로그 전에 지금 navigate가 뽑는 자리가 왜 그런지를 코드와 수치로 확인하고 고친다.

질문 셋: (1) 그런 자리가 얼마나 자주 나오나 (2) 원인이 무엇인가 (3) 학습 데이터 생성기(molmospaces datagen)와 scene-mem-gen은 어떻게 하나.

2원인 — 코드에서 확인한 것

place_robot_near는 방·벽을 모른다(env.py:854-859, 유클리드 반경만). 학습 때는 가시성 검사가 벽 건너편·화면 밖 자리를 걸러 줬는데 우리는 그 검사를 빼고 불렀다 → 하네스가 학습 분포보다 넓은 자리 분포에서 뽑고 있었다. 벽에 붙은 가구 위 물체는 직선거리 0.7 m 안 자유 공간이 대부분 옆방이라(train_8287 tissue box: 30자리 중 29자리 옆방), 그런 지점에서는 거의 항상 옆방에 선다.

place(든 채) 접근은 다른 경로(surface_approach_candidates: 표면 가장자리에서 바깥으로 0.35~0.8 m, 로봇에서 가까운 순)인데 같은 구멍이 있다 — 가구가 벽에 붙어 있으면 벽쪽 가장자리의 "바깥"이 옆방이고, 로봇이 옆방에서 오면 그 후보가 제일 가까워 먼저 뽑힌다. drive_to는 그 자리로 A* 경로를 찾아 문을 지나 가서 벽을 마주 보고 선다.

"가구를 안 본다": pick yaw는 타깃 방향 ±45° 균등 노이즈 — 학습 샘플러에서 그대로 물려받은 값이라 분포 자체는 학습과 같다. 다만 학습에서는 가시성 검사가 타깃이 카메라 밖으로 나가는 극단을 걸렀다. place 접근 yaw는 표면 법선 정면으로 이미 고정돼 있다(다른 세션, 260917).

3결과 1 — pick 접근 자리 (게이트 끔 vs 켬)

지점마다 teleport_to(obj)를 게이트 끄고 30회, 켜고 30회 호출해 자리를 뽑고 각 자리에서 잰 값. 배치 실패: 끔 0회 / 켬 0회. 게이트 켬의 폴백(후보 전부 걸려 최선 후보 사용): 33/1200 (3%).

지점별 (게이트 끔 → 켬)

4결과 2 — place 접근 자리(든 채)

실제 흐름대로 pick 자리에서 물체를 든 채 복원 목적지 가구로 teleport_to(rec, carry). 끔 320회 / 켬 320회, 배치 실패 0 / 0. 접근 방식(끔): {"surface_rim": 320}, (켬): {"center_faced": 8, "surface_rim": 312}.

지점별 (끔 → 켬, 다른 방/벽 건수)

5결과 2b — 원래 자리 앵커(정답일 때) 효과

ㄷ자 조리대·식탁·침대 같은 큰 가구에서는 게이트를 켜도 로봇이 온 쪽 끝에 서서 물체의 원래 자리와 3 m 넘게 떨어졌다(3655: 3.39 m). place 접근이 "로봇이 지금 있는 자리에서 가장 가까운 가장자리"를 고르고 navigate는 가구 uid만 받기 때문이다. 사용자 결정(260918): 에이전트가 고른 (물체, 가구)가 그 시나리오의 정답과 같을 때만 물체의 원래 자리 to.xyz를 기준점으로 삼아 거기에 가장 가까운 가장자리로 간다(링 우선이 아니라 앵커 거리 순 — 링 우선이면 목표 가까운 가장자리가 의자로 막힌 식탁(train_1299)에서 1.5 m 떨어진 링 0 후보를 먼저 골라 오히려 나빠졌다, 1.29→1.60 → 정렬 수정 후 0.44). 틀린 답은 종전대로.

지점별 원래 자리까지 거리 중앙값 (m) — 로봇 기준 → 앵커

공정성: 정답을 맞힌 뒤에만 발동하고 틀린 답은 어디 서든 점수가 안 나므로 순위 무영향; 채점 is_placed_on은 가구 안의 지점을 요구하지 않으므로 기억이 답할 정보를 대신 주는 것도 아니다. 절대 성공률은 오르므로 전후 비교 금지(행 approach_anchor="given"). 게이트·앵커 적용법은 docs/nav_pose_gate.md.

6결과 3 — 파일럿 성공률과의 관계

파일럿 40자리(각 10회 VLA pick, 정책 pi05_mlspaces_place_oc@20000)를 같은 기준으로 재측정해 성공률과 조인했다.

물체 픽셀 비율과 성공률의 Spearman 상관(40자리): 어깨 카메라 ρ=0.267 (p=0.0962), 정책 exo ρ=0.351 (p=0.0265).

7증거 — 걸린 자리의 카메라 프레임과 2D 맵

게이트 끔(지금 하네스)에서 걸린 자리의 어깨 카메라·정책 카메라 프레임. 캡션의 '방 A→B'는 베이스가 선 방 → 타깃의 방.

restore:train_2853__2:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 5/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_2853__0:q01 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 1/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_9797__1:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 20/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6242__1:q06 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 1/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_8287__1:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 29/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_3655__0:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 17/30) · 오른쪽 게이트 켬(빨강 2/30, 파란 테두리 = 폴백 2) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_3655__0:q03 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 7/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6242__1:q05 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 1/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6878__2:q01 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 3/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6878__2:q01 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_2159__2:q08 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 2/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6278__2:q01 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 7/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6278__2:q01 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_4136__1:q01 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 22/30) · 오른쪽 게이트 켬(빨강 1/30, 파란 테두리 = 폴백 1) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_3912__2:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 4/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_3944__0:q02 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 7/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_4360__2:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 12/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_2224__2:q01 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 14/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_1847__1:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 2/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_188__2:q01 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_7845__2:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 6/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_3655__2:q04 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 1/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_7650__2:q02 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 11/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_2224__0:q08 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 22/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_9026__1:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 7/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_4304__0:q03 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 2/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_4304__0:q03 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 8/8, 파란 테두리 = 폴백 8) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_3994__0:q06 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_7661__1:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 30/30) · 오른쪽 게이트 켬(빨강 30/30, 파란 테두리 = 폴백 30) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_7152__1:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 12/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_7152__1:q00 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_4392__2:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 2/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6728__2:q01 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 14/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_6728__2:q01 · place · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 8/8) · 오른쪽 게이트 켬(빨강 0/8, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_1847__1:q04 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 15/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

restore:train_9651__2:q00 · pick · 왼쪽 게이트 끔(빨강 = 다른 방/벽/학습 기각 18/30) · 오른쪽 게이트 켬(빨강 0/30, 파란 테두리 = 폴백 0) · ★ 타깃 · 화살표 = 로봇 정면 · 노랑 = 설 수 있는 공간

8scene-mem-gen(데이터 생성기)은 어떻게 하나

~/repos/Robotics/scene-mem-gen/scene-mem-datagen/는 place_robot_near를 쓰지 않는다(scene_mem_datagen.py:715 주석: "place_robot_near 를 쓰지 않으므로 가시성 렌더도 필요 없다"). 자리는 franka_pick.plan_pick → room2room.base_candidates로 결정론적으로 열거한다.

scene-mem-gen은 IK 전문가라 "어디 서면 팔이 닿는가"가 기준이고, VLA에는 "학습 때 서던 곳"이 기준이다. 둘의 공통 원칙(같은 방·벽 관통 금지)을 게이트로 가져왔고, 후보 생성과 yaw는 학습 분포(molmospaces 샘플러)를 유지했다.

9고친 것 — 자리 게이트

src/sbench_online/nav_gate.py(커밋 58931b2) + nav0.teleport_to 훅. 게이트 순서:

1. 같은 방 — 베이스 자리의 방(점유 맵 room_map 채널, place_robot_near와 같은 팽창 반경 맵) vs 타깃의 방(ObjectManager.infer_room_name, 서포트 그래프 물체→가구→바닥→방). 둘 다 알려져 있고 다르면 기각. 문틈으로 타깃이 보여도 옆방이면 팔이 못 닿는다.
2. 벽 — 어깨 카메라 위치→타깃 3D 점 선분에 wall*/window* 바디(mj_ray). pick은 물체 중심, place 가장자리 후보는 그 후보의 가장자리 점(표면 높이).
3. 가시성 — 학습 datagen과 같은 카메라·임계(어깨 ≥0.1%), 빈손 pick 접근에만.

반경 샘플을 최대 12회 다시 뽑고, 전부 "다른 방"이면 place_in_room(타깃 방의 자유 픽셀만, 같은 yaw 규칙·충돌 검사)으로 다시 뽑는다. 그래도 없으면 최선 후보(같은 방 > 벽 없음 > 가시성 최대)로 폴백하고 pose_gate="fallback"을 남긴다. nav 결과에 pose_gate·gate_rejects·gate_rooms·gate_sampler가 기록되고 orchestrator가 에피소드 항목에 옮긴다. teleport_to(..., pose_gate_on=False)는 감사용 기준선.

도중에 잡은 함정 둘: (a) "베이스→타깃 xy, 높이 1.5 m" 레이는 벽에 붙은 가구 위 물체에서 벽 메시 안에서 끝나 로봇이 물체를 똑바로 봐도 벽으로 판정했다(train_8287 30/30) → 카메라 원점 3D 레이로 교체. (b) place 가장자리 경로에서 yaw를 다시 놓은 뒤 mj_forward 없이 카메라 위치를 읽어 레이 원점이 낡았다(train_188 armchair 8/8 벽이 게이트를 통과) → forward 추가 후 0/3.

원래 자리 앵커: teleport_to(anchor_xyz=…)/drive_to(anchor_xyz=…) → 가장자리 후보를 앵커 거리 순으로 정렬(surface_approach_candidates(ring_first=False)); run_episode(place_anchors={물체: {surface, xyz}}) → 든 물체의 정답 가구 == 에이전트가 고른 가구일 때만 전달; sbench_exec/online.py가 plan.restore_targets에서 만든다.

10의미 (Takeaway)

• 실행 잡음의 한 원천이 코드 한 줄(인자 누락)이었다 — 학습 datagen이 하던 검사를 하네스가 빼먹으면 VLA는 본 적 없는 자리에서 시작한다. 카탈로그 이전에 이런 "분포 밖 자리"는 게이트로 없애는 게 맞다(카탈로그는 분포 안에서 더 좋은 자리를 고르는 일).
• 레이 검사는 기하 함정이 많다: 벽 메시가 두꺼워 물체 중심이 벽 안에 들어가기도 하고(base 레이 오판), 어깨 카메라가 0.54 m 옆에 달려 벽을 뚫기도 한다(train_4304). 방 채널 + 카메라 레이 + 가시성 셋을 겹쳐 쓰고 폴백을 두는 편이 하나에 매달리는 것보다 안전했다.
• 게이트를 통과 못 하는 지점(초가 책상 유리장 안, 후추통 가림, 버터나이프)은 "VLA로 집기 어려운 답"의 후보 — 카탈로그의 확인 시행 0/5와 같은 마스크로 다룰 수 있다.
• 파일럿 40자리 조인은 방향이 맞다(걸림 0.17 vs 0.42)지만 n이 작다 — 게이트의 성공률 이득은 카탈로그 1라운드(무작위 자리 기준선)에서 게이트 전후 비교로 다시 잰다.

11보완점/다음 (Next)

1. nav0.teleport_to 훅과 orchestrator 기록 필드는 작업 트리에만 있다 — 그 파일들에 다른 세션의 미커밋 작업(표면 가장자리 접근·preplace 레이캐스트)이 있어 그 위에 얹혀 있다. 그쪽이 커밋되면 같이 커밋한다(nav_gate.py·테스트·스크립트는 58931b2).
2. 카탈로그 스펙의 "시야 사전 필터"를 이 게이트로 대체(후보 생성 = 게이트 켠 teleport_to). 빌더 계획 작성 → 스모크 → 50지점.
3. 정면 yaw: 카탈로그 후보에 각 자리의 정면 재조준 버전을 넣어 실시행으로 비교(±45° 노이즈 vs 0°).
4. place 접근에서 어깨 카메라가 벽을 뚫는 자리(train_4304)는 게이트가 폴백으로만 처리 — 정책 카메라(bench_exo_L) 기준 검사 추가 여부는 카탈로그 확인 시행 결과를 보고.
5. 앵커는 restore 계열에만 의미가 있다(원래 자리가 정의됨). resume/routine의 목적지(용기·가전)는 가구가 작아 지금 규칙으로 충분한지 확인.
6. 본 런 적용 시 pose_gate 분포(passed/fallback)를 집계해 폴백 지점을 표로 남긴다.