Index
2026-08-26 — Experiment

v1 final find 전량 측정 #1 — gemini-3.6-flash × 6전략 (545행 / 100편, cap 8)

scene_bench | job 97359 · 4샤드 CPU-only worker · 5.7h · $71.52 · 채점 계약 v1-final (floor / hidden=fixture / 미라벨 제외)
정정 (260827 감사): 이 런의 "cap 8"은 frames-uniform에만 적용됐다. vis-pure는 kept 16장(n_kept 81/100편=16, run_eval_v1에 vis cap 미이식), tagmem 읽기는 이미지 6장. 두 수치(0.701 / 0.618)는 cap16·img6 조건값이며, cap 8 재측정이 예약됨(98776 tagmem 8/28, 98778 vis-pure 8/29). rf-v3(MEM-faithful) 추가 런 98734 진행 중. 상세: 260827-method_audit.html

TL;DR

0.701
vis-pure loc
0.618
tagmem loc
0.255
blind (chance .287)
0.914
textlog target
$71.5
8,780 call

00 모델 격자 (8/28) — flash × sonnet, 공통 전문·30s 청킹·cap 8 (loc / place)

전략flashsonnetflash targetsonnet targetflash distrsonnet distrflash hiddensonnet hidden
blind0.255/0.1490.183/0.1170.212/0.1220.227/0.1450.293/0.1720.145/0.0930.140/0.0230.070/0.023
textlog (target 오라클)0.521/0.4790.494/0.4530.914/0.8550.906/0.8430.176/0.1480.131/0.1100.814/0.6980.837/0.721
frames-uniform 8장0.536/0.3720.372/0.2290.494/0.3060.322/0.1730.572/0.4310.417/0.2790.465/0.1860.326/0.116
rf-v2 naive 누적0.350/0.2500.393/0.2570.478/0.3410.376/0.2120.238/0.1690.407/0.2970.419/0.2790.465/0.256
rf-v3 MEM-style 재작성0.431/0.3250.393/0.2510.427/0.3060.373/0.2160.434/0.3410.410/0.2830.512/0.4190.349/0.186
vis-pure cap 8 (MemER-style)0.626/0.4620.380/0.2480.537/0.3880.349/0.2200.703/0.5280.407/0.2720.605/0.3260.209/0.093
tagmem-r3 cap 8 (ours)0.521/0.3960.305/0.1940.588/0.4270.349/0.1960.462/0.3690.266/0.1930.628/0.5120.209/0.070
매체 선호가 모델 종속: flash 이미지(0.536) > 텍스트(0.431), sonnet 텍스트(0.393) > 이미지(0.372). 재작성 이득(+0.08)은 flash만 — sonnet은 누적 노트가 이미 distractor 0.407을 커버해 동률. sonnet p1 $57.80 (8/27 23:5x 429 COST 한도로 81편 중단 → 새 키로 99290 재개). vis-pure·tagmem cap 8은 8/28~29 재측정.

0 재측정 #2 (8/27) — rf-v2·rf-v3, 공통 writer 전문 · 30 s 청킹 · cap 8

전략 (flash, 545행)locplace기권targetdistractorhiddenmulti loc
blind0.2550.1490.400.212/0.1220.293/0.1720.140/0.0230.023
textlog (target 오라클)0.5210.4790.350.914/0.8550.176/0.1480.814/0.6980.488
frames-uniform 8장0.5360.3720.050.494/0.3060.572/0.4310.465/0.1860.047
rf-v2 naive 누적 (신)0.3500.2500.390.478/0.3410.238/0.1690.419/0.2790.116
rf-v3 MEM-style 재작성 (신)0.4310.3250.250.427/0.3060.434/0.3410.512/0.4190.116
(참고) rf-v2 구판 26일0.2350.1780.450.341/0.2710.141/0.0970.372/0.3260.047
재작성 > 누적 (loc +0.081, place +0.075, 기권 0.39→0.25) — MEM 논문의 "summary ≫ naive concatenation" 재현, 특히 distractor 0.238→0.434. 단 target은 누적(0.478)이 재작성(0.427)보다 낫다 — 압축이 행동 세부를 깎는 trade-off. 공통 전문+30s 청킹만으로 rf-v2가 0.235→0.350. 비용 $29.75. vis-pure·tagmem(cap 8)은 8/29 재측정 후 교체.

1 설정

데이터 HF v1 final @87220689 · eval/find 584행 → 미라벨(C) 39행 제외 → 545행 / 100편 (target 255 / distractor 290) 채점 v3 계약 selections[{category, room, surface}] → loc_set(방 다중집합) / place_set(방+표면) / loc_f1 / count_ok A 바닥 → surface="floor" · B hidden → candidates[].fixture 가 정답 표면(엄격) · 방 이름 미유도 0행 전략 blind · textlog · frames-uniform(8장) · rollforward-v2 · rollforward-vis-pure · tagmem-r3 (쓰기 v1·읽기 v2) 실행 scripts/run_v1_final_shards.sh gemini-3.6-flash v1final_flash 4 8 all → job 97359 (--gres=gpu:0 -c 8 --mem 64G --qos=own) 비용 $71.52 = 질의 $31.9 + ingest (vis $17.29 · tagmem $12.41 · rf-v2 $9.95) · wall 5.7h · chance: loc ≈ 0.287, place ≤ 0.251

2 전략별 결과

전략loc_setplace_setloc_f1count_ok기권
blind (G1 대조군)0.2550.1490.2740.5580.40
textlog (이벤트 로그 오라클)0.5210.4790.5330.6330.35
frames-uniform (8장)0.5360.3720.5720.8860.05
rollforward-v2 (자필 노트)0.2350.1780.2610.4990.45
rollforward-vis-pure0.7010.5500.7380.9380.01
tagmem-r3 (ours)0.6180.4640.6440.8790.08

kind별 (loc / place)

전략find_target (255)find_distractor (290)
blind0.212 / 0.1220.293 / 0.172
textlog0.914 / 0.8550.176 / 0.148 (기권 0.67)
frames-uniform0.494 / 0.3060.572 / 0.431
rollforward-v20.341 / 0.2710.141 / 0.097
rollforward-vis-pure0.675 / 0.5220.724 / 0.576
tagmem-r30.647 / 0.4630.593 / 0.466
textlog의 이중성: 로봇이 만진 물체만 로그에 있으므로 target에선 0.914(오라클), distractor에선 67% 기권. A2 공리(텍스트 로그 <0.70)는 target 축에서 위반 — 무력화 장치(D1~D4)가 필요하다는 신호가 v0.7에 이어 재확인.

hidden(43) / multi(43) 층

전략hidden loc / placemulti loc / place / cnt_ok
blind0.140 / 0.0230.023 / 0.000 / 0.09
textlog0.814 / 0.6980.488 / 0.419 / 0.58
frames-uniform0.465 / 0.1860.047 / 0.047 / 0.16
rollforward-v20.372 / 0.3260.047 / 0.023 / 0.12
rollforward-vis-pure0.628 / 0.4190.163 / 0.070 / 0.37
tagmem-r30.628 / 0.4420.326 / 0.233 / 0.49
hidden에서 tagmem ≈ vis: 기록 시점에 "서랍 안"을 텍스트 태그(surf=dresser)로 남겨서, 문이 닫힌 뒤에도 표면이 남는다. vis는 마지막에 보이는 장면에 끌려 place가 0.419.

single 행 실패 분해

전략정답방 오답방OK·표면오답기권
blind0.160.320.110.40
textlog0.480.110.040.36
frames-uniform0.400.370.180.05
rollforward-v20.190.280.060.47
rollforward-vis-pure0.590.240.160.01
tagmem-r30.480.270.160.09

3 실물 예시 (원문)

[hidden 성공 · textlog] find:train_1299__2:q01 "Pick up the remote control I moved earlier" GT bedroom / dresser → pred bedroom / dresser loc=1 place=1 "Between 160s and 329s, the remote control was moved from the side table in the bedroom to the dresser in the bedroom." (tagmem 동일 정답: "…placed inside the drawer of the dark dresser in the bedroom (t=274s)") [hidden 방OK·표면오답 · vis-pure] find:train_1362__0:q02 distractor "Pick up the remote control" GT bedroom / tv stand → pred bedroom / desk loc=1 place=0 "The remote control is located on the black desk in the bedroom. It remained there throughout the episode without being moved." [distractor 기권 · textlog] find:train_1299__2:q03 "Pick up the ladle" → abstain "The ladle was never encountered, moved, or mentioned during the recorded episode, so its location cannot be determined from memory." → 이벤트 로그에는 로봇이 만진 물체만 있다 — 설계상 기권 (distractor 290행 중 67%) [바닥 답 실패 · vis-pure] find:train_1299__2:q00 "Navigate to the cup I moved earlier" GT floor (failed_dropped) → pred kitchen / dining table loc=0 "At t=19.4s, the robot placed the cup on the brown dining table in the kitchen, where it remained for the rest of the episode." → 낙하 사건을 시각 메모리가 못 잡음 (barrier: 낙하는 짧고 프레임 선택에서 빠짐) [multi 개수 실패 · vis-pure] find:train_3377__1:q05 "Pick up all the potatos" GT 2개 (kitchen/dining table, kitchen/countertop) → pred 1개 (dining table) cnt=0 "An irish potato (brown oval object) is visible resting on the dining table in the kitchen area throughout the episode." [rf-v2 target 기권 · 쓰기 누락] find:train_188__2:q00 "Navigate to the pen I moved earlier" → abstain "…picked up from the sink between 95s and 111s. However, the notes do not record where the pen was placed or dropped after…"
실패 케이스 교훈: ① 바닥(낙하) 답은 시각·텍스트 모두 놓친다 — 낙하 사건이 짧아 프레임/노트에 안 남는다 ② multi는 "두 번째 인스턴스 세기"가 병목 ③ 자필 노트(rf-v2)는 "어디에 놓았는지"를 빠뜨리는 쓰기 누락이 v0.7에 이어 재현 ④ distractor의 표면 접지(tv stand↔desk)는 vis의 공통 오류.

4 Takeaway

논문 표 관점

v0.7 S3 표(vis 0.78 / tagmem 0.67)를 v1 final 545행 표(vis 0.701 / tagmem 0.618)로 교체하되, 새로 생긴 hidden·multi 층 표가 tagmem의 자리를 만든다(hidden place 1위, multi 비오라클 1위). textlog는 "target 오라클"로 명명하고 distractor 기권을 명시해야 A2 논의가 정확해진다.

5 Next

sonnet 격자

job 97372 (blind/textlog/frames/rf-v2, 8편 체크포인트 보유) + 97370 (vis-pure/tagmem) — --begin 2026-08-27T21:00 UTC, ≈$66. 완료 후 tmp/hf_check/merge_v1final.py로 병합 → 모델×메서드 격자.

후속

gpt-5.4-mini 6종(≈$15~18). multi 인스턴스 세기·바닥 답 대책은 프롬프트/전략 튜닝이 아니라 리포트 항목(평가지 튜닝 금지). 산출물: tmp/v1final_flash_merged.json, 로그 claude/260826/exp-v1final_find_eval.md.