2026-09-24 — Experiment
goal 이미지 place-only 표 — VLM 이 기억에서 고른 goal 이 원위치 15 cm 적중을 2배로
scene_bench | restore single 100칸 × {VLM 지목 · 정책 카메라 렌더 · GT 기억 프레임 · goal 없음}, MolmoBot place_oc_goal@10000, 오라클 파지 + 운반 수정 하네스
TL;DR
- place 만 떼어 재면 goal 이미지는 의미가 있다. VLM 지목 goal 로 원위치 15 cm 이내가 9 → 19(한쪽만 적중 16 vs 6, p=.052) — GT 로 고른 기억 프레임 18(p=.035)·오라클 렌더 16 과 같은 수준.
- 효과는 observed(지나가며 본 물체) 에서 유의: 15 cm 적중 2→8, 10 cm 0→6, 정답 가구 위 12→20(모두 p≈.02~.03).
- goal 이 바꾸는 건 "맞는 가구"보다 "가구 위 정밀 위치" — 주 지표는 원위치 15 cm 이내.
- 재측정 계기: 운반 버그(두께 >4 cm 물체를 운반 첫 스텝에 놓음, 커밋
730a879). 버그 데이터로 낸 "기억 프레임은 도움 안 됨" 결론은 뒤집혔다. - 온라인 전체 과제 A/B(수정 반영)는 29 vs 31(p=.86) — 본표는 goal-off 유지, goal 은 이 별도 표.
19
VLM 지목 @15 cm
9
goal 없음 @15 cm
2 → 8
observed @15 (p=.031)
93/100
네 조건 모두 든 채 도착
$0.99
API (VLM 지목)
1배경/목적
사용자: "goal condition 은 본표와 별개 표이니 goal 이 의미 있다는 걸 보여줄 수 있는 세팅으로 — VLM 이 뽑는 건 유지하고, place 만 재는 것도 가능?" 온라인 A/B 는 탐색·파지 실패가 섞이고 성공 판정(가구 위)이 goal 이 바꾸는 축이 아니라 효과가 보이지 않았다. 또 A/B v2 는 운반 버그 하네스에서 돌아 두꺼운 물체는 place 전에 떨어졌다.
2세팅
| 항목 | 값 |
|---|---|
| 칸 | A/B v2 single 중 적격 100칸(acted 66 · observed 34) |
| place 전 | 오라클 파지(학습 데모와 같은 파지 라이브러리로 물체를 그리퍼 안에 쥐여 줌) → 정답 가구로 든 채 이동(원위치 앵커) → preplace. 운반 버그 수정 적용(--hold-gripper-closed) |
| VLM 지목(본 비교) | tagmem 기억 검색 8장 + 현재 정책 화면 → gemini-3.7-flash 가 원위치 장면 지목, NONE 이면 goal 없이 place(온라인 하네스와 같은 GoalPicker) |
| 참고 행 | 정책 카메라 오라클 렌더(상한) · GT 로 고른 기억 프레임(원위치 구간 최대 픽셀) |
| 정책·지표 | MolmoBot place_oc_goal@10000 · 정답 가구 위 / 원위치 10·15 cm / 원위치 거리, 칸마다 짝지어 비교 |
| 실행 | 로컬 B200 + 원격 yj(vlmpick s2~s4, scene-bench-5e 세션). vlmpick s0 의 9칸은 센서 슬림(분포 동일) |
3결과 — 93칸(네 조건 모두 든 채 도착)
| VLM 지목 | 렌더 | GT 기억 프레임 | goal 없음 | |
|---|---|---|---|---|
| 정답 가구 위 | 55 | 54 | 54 | 49 |
| 원위치 10 cm 이내 | 11 | 9 | 9 | 5 |
| 원위치 15 cm 이내 | 19 | 16 | 18 | 9 |
| 원위치 거리 중앙값 | 0.258 m | 0.250 m | 0.229 m | 0.294 m |
| vs off 거리(Wilcoxon) | p=.097 | p=.005 | p=.010 | — |
| vs off @15 (한쪽만 적중) | 16 / 6 (p=.052) | 9 / 2 (p=.065) | 12 / 3 (p=.035) | — |
observed 29칸 — 효과가 몰리는 곳
| VLM 지목 | 렌더 | GT 프레임 | goal 없음 | |
|---|---|---|---|---|
| 정답 가구 위 | 20 | 17 | 19 | 12 |
| 10 / 15 cm 이내 | 6 / 8 | 4 / 5 | 2 / 4 | 0 / 2 |
| 원위치 거리 중앙값 | 0.226 m | 0.206 m | 0.208 m | 0.334 m |
| vs off | 거리 p=.022 · @15 6/0 p=.031 · 가구 위 9/1 p=.021 | 거리 p=.004 | 거리 p=.017 | — |
acted 64칸은 0.268 / 0.262 / 0.249 / 0.280 m, @15 11 / 11 / 14 / 7 — 방향은 같지만 유의하지 않다. VLM 이 원위치 구간 안의 프레임을 고른 칸은 @15 18/81, 밖을 고른 칸은 2/10.
observed, VLM 지목 goal 은 15 cm 안·goal 없음은 놓친 6칸. 열: VLM 이 고른 기억 이미지 | goal 로 놓은 뒤 | goal 없이 놓은 뒤. 예: 컵(7650) 0.02 m vs 0.50 m, 종이타월(6278) 0.05 m vs 0.24 m.
4실패 사례 — goal 없음만 15 cm 적중 (6칸, 전부 acted)
| 칸 | VLM goal | goal 없음 | 원인 |
|---|---|---|---|
| 1299 펜 | 원위치 장면 지목, 67스텝 · 0.39 m | 4스텝 · 0.09 m | goal 을 보고 더 움직여 원위치에서 멀어짐 |
| 3994 소금통 | 원위치 장면, 95스텝 · 0.37 m | 3스텝 · 0.12 m | 같은 패턴 |
| 9651 소금통 · 9584 머그 | 원위치 장면, 0.13~0.14 m · 가구 밖 | 0.08 m | 가장자리로 끌려 떨어짐 |
| 2738 머그 | 원위치 장면, 0.27 m | 0.09 m | 이동 |
| 7428 리모컨 | 원위치 밖 프레임, 0스텝 | 0.11 m | 잘못 고른 프레임 |
교훈: acted 는 preplace 가 이미 원위치 가까이라 goal 없음이 3~4스텝에 놓고 끝난다 — goal 이 끌어갈 여지가 개선보다 이탈로 쓰인다. observed 는 goal 없음이 더 멀리서 헤매서(9스텝) goal 이 방향을 준다. 효과가 observed 에 몰리는 이유.
5온라인 전체 과제 A/B (수정 반영, 참고)
| goal-on | goal-off | 쌍 비교 | |
|---|---|---|---|
| 전체 102 | 29 | 31 | p=.86 |
| acted 68 | 21 | 18 | p=.65 |
| observed 34 | 8 | 13 | p=.23 |
운반 버그 영향 칸(팔별 21)을 수정 하네스로 재실행해 교체. 재실행 칸 성공 on 6→10, off 5→10 — 두 팔 모두 올랐고 차이는 그대로.
6Takeaway / 다음
결론
goal 조건 별도 표는 place-only 세팅, 주 지표 원위치 15 cm 이내로 간다. VLM 이 기억에서 고른 goal 은 GT 프레임·오라클 렌더와 같은 수준으로 정밀도를 약 2배 올리고, 그 효과는 지나가며 본 물체(observed)에서 크고 유의하다. 온라인 전체 과제에서는 앞 단계 실패와 성공 판정 축 때문에 드러나지 않는다 — 본표는 goal-off 유지.- 표 캡션에 place-only·오라클 파지·정답 가구 조건과 칸 수(93/100) 명시.
- 온라인 observed false_done(on 13 vs off 7) — "든 채 done 수용" 결함 후보와 같은 칸인지 확인 남음.
- 산출:
claude/260924/exp-goal_place_only_and_ab_fixed.md, 집계tmp/goal_gt/agg_probe_og.py --vlm, 행tmp/goal_gt/probe_og{,_vlm}_s[0-4].jsonl.