Index
2026-09-12 — Experiment

routine 정식 데이터(dc1c8144) 읽기 격자 — 5모델 × 5전략 × 314행

SceneMem-Bench 네 번째 가족 · writer v2 · cap 8 · 누출 4행 제외 · API $40(flash $35.72 + luna $4.21) · 오픈 3종 $0

TL;DR

5
모델
314
행/전략
.442
flash-3.7 rf-v3
$40
API

1데이터·프로토콜

HF main dc1c8144(2026-09-11): type3 100편/59집, 314행 = direct 214(self 174 · observed 40) + multi 100, 쌍둥이 108쌍. 모든 편이 출발 테이블 복귀 꼬리로 끝나 질의 이미지 누출 97/214 → 2/214(집계 제외). 정식 행엔 방 이름·수납처 표시명이 없어 어댑터(scripts/build_routine_official.py)가 scene card(집 사실)로 채운다; 헤드라인 GT = 증거 인스턴스(self: 그 task 의 dst, observed: 관찰 스테이지의 dst), place_any = 어느 인스턴스든. 답 형식은 find 와 같은 {category, room, surface}. 5전략(사용자 결정 260907: rf-v2·tagmem 제외), writer v2, cap 8. textlog 의 stand_ 오기(SideTable→"tv stand")는 이번에 고쳤다.

2본표 — loc / place (누출 행 제외)

전략flash-3.7lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.155/0.0710.161/0.0030.142/0.0030.197/0.0030.152/0.003
textlog (oracle)0.565/0.5650.577/0.5580.506/0.4870.319/0.2710.284/0.239
frames-uniform0.432/0.4260.355/0.3230.290/0.2130.258/0.1550.177/0.065
rf-v3 (MEM-style)0.442/0.4390.335/0.3100.161/0.0190.197/0.0610.148/0.035
vis-pure (MemER-style)0.381/0.2650.235/0.0260.174/0.0130.119/0.0030.184/0.003

진단 — place_any / class_ok / abstain

전략flash-3.7lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.077 / 0.110 / 0.440.003 / 0.010 / 0.290.003 / 0.006 / 0.170.003 / 0.013 / 0.080.003 / 0.010 / 0.02
textlog (oracle)0.565 / 0.565 / 0.120.558 / 0.558 / 0.100.487 / 0.494 / 0.110.274 / 0.313 / 0.140.239 / 0.258 / 0.13
frames-uniform0.461 / 0.577 / 0.110.365 / 0.542 / 0.030.229 / 0.390 / 0.040.174 / 0.287 / 0.040.068 / 0.168 / 0.02
rf-v3 (MEM-style)0.468 / 0.594 / 0.080.345 / 0.526 / 0.050.026 / 0.055 / 0.240.065 / 0.132 / 0.120.039 / 0.081 / 0.06
vis-pure (MemER-style)0.281 / 0.326 / 0.200.029 / 0.045 / 0.020.013 / 0.023 / 0.060.003 / 0.013 / 0.130.003 / 0.010 / 0.03
flash-3.7: rf-v3 .442 ≥ frames .432 > vis .381. luna: frames .355 ≈ rf-v3 .335 > vis .235. 8B: frames 가 1위, rf-v3 는 blind 수준(재작성 계약 미이행 — 260911 분석과 같은 원인).

3self vs observed — 오라클이 갈리는 지점

self (내가 놓은 규칙, n=234)

전략flash-3.7lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.188/0.0850.171/0.0040.145/0.0040.201/0.0040.162/0.004
textlog (oracle)0.744/0.7440.739/0.7390.650/0.6450.397/0.3590.359/0.316
frames-uniform0.547/0.5430.423/0.4190.329/0.2820.282/0.2050.184/0.085
rf-v3 (MEM-style)0.551/0.5510.406/0.4020.171/0.0260.209/0.0810.162/0.047
vis-pure (MemER-style)0.410/0.2950.244/0.0340.184/0.0170.128/0.0040.188/0.004

observed (보기만 한 규칙, n=38)

전략flash-3.7lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.105/0.0530.263/0.0000.263/0.0000.368/0.0000.237/0.000
textlog (oracle)0.026/0.0260.132/0.0000.132/0.0000.158/0.0000.105/0.000
frames-uniform0.132/0.1320.289/0.0530.342/0.0000.342/0.0000.316/0.000
rf-v3 (MEM-style)0.211/0.1840.237/0.0530.263/0.0000.316/0.0000.211/0.000
vis-pure (MemER-style)0.474/0.3420.395/0.0000.289/0.0000.184/0.0000.342/0.000
observed 는 액션 로그 오라클이 정의상 답을 못 한다(.026 = 발화·행동에 없음). 이 셀은 이미지 메모리만 잡는다: flash-3.7 vis-pure .474 > rf-v3 .211 > frames .132. 논문 표에서 observed 열의 textlog 는 "N/A(action-log)"로 표기.

4질의 이미지 편향 — "지금 보이는 테이블"을 답하는 모델

모델전략direct 답 있음surface = 출발 테이블그중 방도 출발 테이블 방(loc=1·place=0)
cosmos-r2-8bblind198172 (87%)55
cosmos-r2-8btextlog17237 (22%)5
cosmos-r2-8bframes-uniform20143 (21%)10
cosmos-r2-8brollforward-v317483 (48%)26
cosmos-r2-8brollforward-vis-pure15595 (61%)25
flash-3.7blind16937 (22%)11
flash-3.7textlog1750 (0%)0
flash-3.7frames-uniform1800 (0%)0
flash-3.7rollforward-v31882 (1%)0
flash-3.7rollforward-vis-pure1671 (1%)0
lunablind213192 (90%)50
lunatextlog1836 (3%)2
lunaframes-uniform20623 (11%)7
lunarollforward-v320033 (16%)9
lunarollforward-vis-pure213174 (82%)58
molmo2-8bblind210134 (64%)37
molmo2-8btextlog17634 (19%)8
molmo2-8bframes-uniform20768 (33%)14
molmo2-8brollforward-v3204101 (50%)18
molmo2-8brollforward-vis-pure207169 (82%)46
qwen3vl-8bblind171123 (72%)32
qwen3vl-8btextlog19119 (10%)3
qwen3vl-8bframes-uniform20342 (21%)8
qwen3vl-8brollforward-v315981 (51%)21
qwen3vl-8brollforward-vis-pure200123 (62%)35

direct 답의 surface 가 질의 문장의 출발 테이블(= 질의 이미지에 보이는 테이블)과 같은 비율. 마지막 열은 그중 방까지 출발 테이블 방이라 loc 은 맞고 place 만 틀린 행.

luna·qwen 은 이미지가 들어오면(blind·vis-pure) 메모리 대신 현재 뷰의 표면을 수납처로 베낀다 — luna vis-pure place .026 의 정체. flash-3.7 은 1%. 테이블 복귀 꼬리는 누출을 없앴지만 "질의 물체가 놓인 표면"을 시야에 넣어 이 편향을 드러낸다. 모델 한계로 기록(하네스는 4가족 동일 프로토콜).

5multi · 쌍둥이

multi (테이블 비우기, n=98)

전략flash-3.7lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.000/0.0000.000/0.0000.000/0.0000.000/0.0000.000/0.000
textlog (oracle)0.000/0.0000.020/0.0100.000/0.0000.000/0.0000.000/0.000
frames-uniform0.010/0.0000.000/0.0000.000/0.0000.010/0.0000.000/0.000
rf-v3 (MEM-style)0.000/0.0000.010/0.0100.000/0.0000.000/0.0000.000/0.000
vis-pure (MemER-style)0.051/0.0000.010/0.0000.000/0.0000.000/0.0000.000/0.000

쌍둥이 짝 정답 pair_ok (place_set, n=108쌍)

전략flash-3.7lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.009 (n=108)0.000 (n=108)0.000 (n=108)0.000 (n=108)0.000 (n=108)
textlog (oracle)0.648 (n=108)0.639 (n=108)0.509 (n=108)0.176 (n=108)0.194 (n=108)
frames-uniform0.315 (n=108)0.194 (n=108)0.074 (n=108)0.056 (n=108)0.000 (n=108)
rf-v3 (MEM-style)0.315 (n=108)0.157 (n=108)0.000 (n=108)0.000 (n=108)0.000 (n=108)
vis-pure (MemER-style)0.111 (n=108)0.000 (n=108)0.000 (n=108)0.000 (n=108)0.000 (n=108)
쌍둥이 = 같은 집·같은 홀드아웃·다른 정답(정답 고정점 0). 두 편을 다 맞혀야 1 — 규칙을 사전지식으로 찍으면 0 이 된다. 오라클 .648, rf-v3 = frames .315, vis .111, blind .009.

6원문 증거

① flash-3.7 rf-v3 정답 — 규칙이 텍스트에 남는다 (routine:train_2814__7699:direct_R1)

Put the spray bottle on the countertop away. · GT [['living room', 'sofa']]

The user instructed me to put the bottles from the kitchen countertop onto the sofa. I transported five bottles from the kitchen countertop and placed all five onto the living room sofa.

답: [{"category": "spray bottle", "room": "living room", "surface": "sofa"}]

② luna vis-pure 오답 — 보이는 테이블을 답한다 (routine:train_1161__7339:direct_R2)

Put the fork on the dining table away. · GT [['bedroom', 'side table']] · 보관 프레임 [4499, 5500, 8749, 10499, 11249, 13249, 13999, 16499]

답: [{"category": "fork", "room": "bedroom", "surface": "dining table"}]

Forks are kept on the dining table, which is in the bedroom.

③ observed 규칙 — textlog 는 모른다, vis-pure 는 안다 (routine:train_1450__7421:direct_R2)

Put the hand towel on the countertop away. · GT [['kitchen', 'dining table']]

textlog 답: [] · vis-pure 답: [{"category": "hand towel", "room": "kitchen", "surface": "dining table"}]

[ 0s] The user said: "Put the food from the countertop on the sofa." [ 0s– 135s] I picked up the apple from the countertop in the kitchen and placed it on the sofa in the living room. [ 135s– 266s] I picked up the egg from the countertop in the kitchen and placed it on the sofa in the living room. [ 266s– 401s] I picked up the potato from the countertop in the kitchen and placed it on the sofa in the living room. [ 402s– 527s] I picked up the apple from the countertop in the kitchen and placed it on the sofa in the living room.

7Takeaway · 다음

1. 가족마다 이기는 매체가 다르다

find·resume = 이미지(vis-pure), restore = 이미지(flash) / 텍스트(sonnet), routine = 텍스트 ≥ 이미지. "무엇을 기억해야 하는가"(위치 스냅샷 vs 반복된 규칙)가 매체를 고른다.

2. 오라클 정의의 한계가 셀을 가른다

observed 규칙은 액션 로그로 못 푼다 — restore D② 와 함께 "행동 로그 오라클 N/A" 셀로 묶어 표기.

3. 다음

sonnet routine(보류) · multi 는 loc_f1 로 부분점수 표 추가 · 편향 셀은 모델 한계로 §6 에 서술. 보관소 final_results/routine_v1.2_dc1c8144/.

원천 표 tmp/routine/grid_routine_final.md (tmp/hf_check/grid_routine.py) · 편향 tmp/routine/query_view_bias.md (routine_query_view_bias.py) 병합본 tmp/routine_final_{flash37,luna,qwen3vl8b,cosmosr2,molmo2}_merged.json · 어댑터 scripts/build_routine_official.py → ~/datasets/scene-mem-benchmark-v1_dc1c8144_read 로그 claude/260911/progress-routine_official_ready.md · claude/260911/exp-routine_official_grid.md
SceneMem-Bench · 2026-09-12 · routine 정식 읽기 격자