TL;DR
- 따라온다. visit_rooms 제외 130행: tagmem .238 → .423 (+18.5pp, p<.001) · rf-v3 .192 → .292 (+10.0pp, p=.029) · vis-pure .215 → .254 (n.s.).
- 대조군 통과. 오라클(textlog) .877 → .885 (+1행). 161행에서 +5pp 로 보인 건 전부
visit_rooms 기권 변화 — "typically 4 rooms" 라고 찍어서 맞음.
- 5전 5패였던 누름이 처음 움직였다. rf-v3 .04 → .32 · tagmem .16 → .36. 완료 계수 편향 절반(−1.32 → −0.65).
- 교차 9/9 상승. 같은 flash 메모리를 오픈 reader 3종이 읽어도 tagmem > rf-v3 > vis-pure 순서 그대로 → 이득은 메모리 내용.
- 우리 방법에 유리한 조건. tagmem−vis-pure 격차 +2.3 → +16.9pp. 본표가 아니라 resume 전용 조건 행으로.
1 조건
| 스위치 | 값 | 효과 |
|---|
SBENCH_WRIST_INSET | both | writer 입력·자기 보관분, reader 메모리 이미지·질의 프레임 전부 exo 320×240 + 손목 160×120 인셋 (480×240) |
SBENCH_WRITER_FPS | 1 | 30 s 청크당 4장 → 30장. 청크 수·재작성 횟수 불변 → 오류 고착 안 곱해짐 |
| 밀도 주석 | 자동 | "사이클당 1회" 정의, 세 writer 공통 (프로브 검증 문장) |
그 외 보관본과 동일. 기본값은 바이트 동일(스텁 검증 + tests/eval 222 통과). 캘리브레이션 2편 외삽 $140 → 실비 $137.18, 키 2개 분산(각 ≈$69).
2 대조군 — textlog 는 왜 161행에서 움직였나
textlog .789 → .839 (+13/−5). 이득 13행 = visit_rooms 8 + multi 5, 그중 11행이 보관본에서 기권. visit_rooms 기권 17 → 10.
"The user initially commanded the robot to navigate to every room in the house (typically 4 rooms: living room, kitchen, bedroom, bathroom). The robot visited the living room and kitchen … Thus, 2 rooms remain."
총 방 수를 찍는데 이 집들이 실제 4방이라 맞는다 — visit_rooms 결함 그대로. 메모리 텍스트가 동일한 오라클은 visit 제외 130행에서 .877 → .885 (+1행). 대조군 통과, 주 표는 130행.
3 주 표 — visit_rooms 제외 130행, resume_ok, 같은 행 McNemar
| 전략 | 보관 (exo 640×480, 4장/청크) | 신 (exo+wrist 480×240, 30장/청크) | Δ | McNemar |
|---|
| blind | 0.062 | 0.092 | +0.030 | +7/−3 p=0.344 |
| textlog (오라클·대조군) | 0.877 | 0.885 | +0.008 | +5/−4 p=1.000 |
| frames-uniform | 0.154 | 0.192 | +0.038 | +12/−7 p=0.359 |
| rollforward-v3 | 0.192 | 0.292 | +0.100 | +22/−9 p=0.029 ← |
| rollforward-vis-pure | 0.215 | 0.254 | +0.039 | +18/−13 p=0.473 |
| tagmem-r3 | 0.238 | 0.423 | +0.185 | +32/−8 p=0.000 ← |
4 표적 — 누름 · 유형별 (161행)
| 전략 | press_button (25) | put_in_container (27) | move_objects (17) | multi (61) |
|---|
| rollforward-v3 | 0.04 → 0.32 | 0.30 → 0.26 | 0.59 → 0.41 | 0.10 → 0.26 |
| rollforward-vis-pure | 0.16 → 0.20 | 0.48 → 0.59 | 0.29 → 0.35 | 0.10 → 0.10 |
| tagmem-r3 | 0.16 → 0.36 | 0.52 → 0.52 | 0.29 → 0.65 | 0.13 → 0.34 |
| frames-uniform | 0.20 → 0.28 | 0.18 → 0.41 | 0.35 → 0.29 | 0.07 → 0.03 |
| textlog (오라클·대조군) | 1.00 → 1.00 | 1.00 → 1.00 | 1.00 → 1.00 | 0.74 → 0.75 |
누름 편향 Δ: rf-v3 −1.32 → −0.65 · tagmem −1.00 → −0.45 · vis-pure −0.96 → −0.62. "아무것도 안 함" 행 tagmem 16 → 5, rf-v3 32 → 19. 아직 0 은 아니다 — 파이프라인이 프로브(8/10)보다 더 잃는다.
5 교차 — 같은 flash 메모리를 오픈 reader 가 읽으면 (130행)
| reader | rf-v3 | vis-pure | tagmem-r3 |
|---|
| qwen3vl-32b | 0.146 → 0.223 (+0.077, p=0.076) | 0.154 → 0.162 (+0.008, p=1.000) | 0.162 → 0.277 (+0.115, p=0.011) |
| gemma4-31b | 0.062 → 0.138 (+0.076, p=0.031) | 0.100 → 0.146 (+0.046, p=0.146) | 0.154 → 0.238 (+0.084, p=0.071) |
| qwen3.8-27b | 0.223 → 0.277 (+0.054, p=0.349) | 0.108 → 0.146 (+0.038, p=0.405) | 0.223 → 0.354 (+0.131, p=0.012) |
| (flash 자기 reader) | .192 → .292 (+.100, p=.029) | .215 → .254 (+.038, p=.47) | .238 → .423 (+.185, p<.001) |
9/9 상승, 하락 0. reader 가 바뀌어도 tagmem > rf-v3 > vis-pure 순서가 같다 → 이득은 writer 가 쓴 메모리 내용에서 온다.
5.5 260923 — 방 목록까지 얹어 본표 확정
visit_rooms 결함(총 방 수 미제공)을 질의 턴 한 줄 Rooms in this house (N): …(씬카드, 89편 4방·11편 3방)로 고쳤다. 대조군(visit 성분 없는 99행): 손목 vs 손목+방에서 textlog 1.000→1.000, 전 전략 p≥.18.
| 전략 | 보관(옛 프로토콜) | 손목+1 fps | 손목+1 fps+방 목록 (본표) | 본표 vs 보관 (161행) |
|---|
| blind | .062 | .081 | .068 | p=1.00 |
| textlog (오라클) | .789 | .839 | 1.000 | +34/−0 |
| frames-uniform | .155 | .205 | .261 | p=.003 |
| rollforward-v3 | .174 | .261 | .335 | p<.001 |
| rollforward-vis-pure | .199 | .242 | .323 | p=.009 |
| tagmem-r3 | .211 | .354 | .441 | +49/−12 p<.001 |
교차 최종 (flash 손목 메모리 + 방 목록 → 오픈 reader, 인셋+방 목록, 161행)
| reader | rf-v3 | vis-pure | tagmem | tag−vis |
|---|
| flash(자기) | .335 | .323 | .441 | +.118 p=.02 |
| qwen3vl-32b | .193 | .130 | .242 | +.112 p=.01 |
| gemma4-31b | .155 | .124 | .236 | +.112 p=.01 |
| qwen3.8-27b | .304 | .211 | .366 | +.155 p<.001 |
tag−vis 가 4/4 유의 — 옛 프로토콜 교차에서는 +.012(p=.87)·+.019·+.043·+.068 로 0/4 였다. 기권은 거의 소멸(tagmem 0 · rf-v3 .012 · vis-pure .012). 오라클 161/161 — 보관본 .789 의 결손 전부가 visit_rooms 결함이었다.
사용자 결정 260923: 이 조건이 resume 본표다(archive final_results/resume_v2_wristrooms_61871a3e/, 교차 ablation_writer_reader_cross/resume_wr/). 논문에는 flash + 교차 3모델만 싣고, "resume 은 실행 이력(반복 횟수)을 묻는 가족이라 접촉 증거·관측 밀도에 특히 예민하다"를 따로 명시한다. 옛 프로토콜 9모델 archive 는 보관. 이 조건 총비용 ≈ $162.
5.6 본표 완성 — 4모델 × 6전략 (161행)
오픈 3모델은 flash 가 쓴 손목 메모리를 읽는 reader(writer 3전략 = 교차 셀, blind·textlog·frames = 자체 읽기, 인셋 질의 프레임 + 방 목록).
| 모델 | blind | textlog | frames | rf-v3 | vis-pure | tagmem |
|---|
| gemini-3.7-flash (자기 쓰기) | .068 | 1.000 | .261 | .335 | .323 | .441 |
| qwen3vl-32b (reader) | .056 | .770 | .130 | .193 | .130 | .242 |
| gemma4-31b (reader) | .037 | .901 | .087 | .155 | .124 | .236 |
| qwen3.8-27b (reader) | .124 | .913 | .180 | .304 | .211 | .366 |
4모델 전부 tagmem > rf-v3 > vis-pure > frames > blind. 방 목록으로 오픈 reader 오라클도 .534→.770 · .652→.901 · .727→.913.
누적(append) 절제, 새 조건 파일럿 14행: resume_ok 누적 6 vs rf-v3 4 — 이득 2행은 전부 rf-v3 가 끝난 과제를 덧붙인 행, 남은 횟수 답은 19과제 전부 동일. "재작성이 횟수를 지운다"는 사례는 실재하나 비율은 정규식으로 못 재고(3회 시도 모두 오탐 다수), 결과 수준에서는 점수로 안 이어진다. 서사는 "재작성은 1/3 크기(132 vs 430 단어)로 같은 정확도"로 수정 권고. 전량 $44 는 결정 대기.
6 공정성 — 왜 우리 방법이 가장 오르나
세 writer 가 같은 입력, 전 전략 reader 가 같은 시야, 오라클 평평 — 하네스 입력 조건이다. 그러나 이득은 tagmem +18.5 > rf-v3 +10.0 > vis-pure +3.8 로 편향돼 있다.
vis-pure 는 고정 8장 키프레임 선택이라 후보가 450장으로 늘면 더 어려워진다(Δ 는 −0.33 → +0.06 으로 좋아졌는데 resume_ok 가 안 따라온다 = 고른 8장이 질문에 안 맞는다). 260919 밀도 실험과 같은 이유. tagmem 은 저장 항목(75장/편)에서 검색하니 관측 증가가 그대로 이득.
본표에 넣지 않고 resume 전용 조건 행으로 싣고, "resume 은 반복 횟수를 묻는 가족이라 접촉 증거·밀도에 특히 예민하다"를 따로 명시한다(사용자 결정).
7 Takeaway
① 누름은 "증거의 부재"에서 "부분 관측"으로 옮겨 갔다. 개입 5종이 전부 실패한 이유는 대상이 표현이 아니라 입력 증거였기 때문 — 프로브 예측 그대로.
② rf-v3(텍스트)도 유의하게 오른다. 텍스트가 못 세는 게 채널의 본질이 아니라 밀도·접촉 증거 부족이었다. 단, 이미지 저장 전략이 더 크게 오른다.
③ 비용 4.6×(rf-v3 5.0·vis 3.1·tagmem 4.5). 전 가족 적용은 별개 결정. 인셋 해상도(480×240)와 손목·밀도가 파이프라인에서는 미분리.
로그 claude/260922/exp-resume_wrist_1fps_full.md · 병합 tmp/rfv3append/wr_flash_merged.json · 교차 tmp/xwr_{old,new}_{q32,gemma4,qwen38}_s*