정정 (260827 감사): 이 런의 "cap 8"은 frames-uniform에만 적용됐다. vis-pure는 kept 16장(n_kept 81/100편=16, run_eval_v1에 vis cap 미이식), tagmem 읽기는 이미지 6장. 두 수치(0.701 / 0.618)는 cap16·img6 조건값이며, cap 8 재측정이 예약됨(98776 tagmem 8/28, 98778 vis-pure 8/29). rf-v3(MEM-faithful) 추가 런 98734 진행 중. 상세: 260827-method_audit.html
TL;DR
- 벤치 작동 확인: blind loc 0.255 ≤ chance 0.287 (편당 방 3.4개) → G1 통과. 메모리 전략은 0.52~0.70.
- vis-pure 비오라클 1위 (loc 0.701 / place 0.550), tagmem 2위 (0.618 / 0.464) — v0.7 S3와 같은 순위. 단 hidden 43행에서 tagmem이 vis와 loc 동률(0.628)·place 우위(0.442 vs 0.419), multi에서도 비오라클 최고(0.326).
- textlog는 target 오라클(0.914/0.855)이지 전체 오라클이 아님 — distractor는 로그에 없어 기권 67% → 전체 0.521. A2(<0.70)는 target 축에서 위반 → 무력화 장치 필요.
- multi(43)는 전 전략 붕괴 (cnt_ok ≤ 0.58), rollforward-v2(자필 노트)는 blind 수준(0.235, 기권 45% — 쓰기 누락).
- 비용 $71.52 = 첫 편 검산치 그대로. 파스실패 0.
00 모델 격자 (8/28) — flash × sonnet, 공통 전문·30s 청킹·cap 8 (loc / place)
| 전략 | flash | sonnet | flash target | sonnet target | flash distr | sonnet distr | flash hidden | sonnet hidden |
| blind | 0.255/0.149 | 0.183/0.117 | 0.212/0.122 | 0.227/0.145 | 0.293/0.172 | 0.145/0.093 | 0.140/0.023 | 0.070/0.023 |
| textlog (target 오라클) | 0.521/0.479 | 0.494/0.453 | 0.914/0.855 | 0.906/0.843 | 0.176/0.148 | 0.131/0.110 | 0.814/0.698 | 0.837/0.721 |
| frames-uniform 8장 | 0.536/0.372 | 0.372/0.229 | 0.494/0.306 | 0.322/0.173 | 0.572/0.431 | 0.417/0.279 | 0.465/0.186 | 0.326/0.116 |
| rf-v2 naive 누적 | 0.350/0.250 | 0.393/0.257 | 0.478/0.341 | 0.376/0.212 | 0.238/0.169 | 0.407/0.297 | 0.419/0.279 | 0.465/0.256 |
| rf-v3 MEM-style 재작성 | 0.431/0.325 | 0.393/0.251 | 0.427/0.306 | 0.373/0.216 | 0.434/0.341 | 0.410/0.283 | 0.512/0.419 | 0.349/0.186 |
| vis-pure cap 8 (MemER-style) | 0.626/0.462 | 0.380/0.248 | 0.537/0.388 | 0.349/0.220 | 0.703/0.528 | 0.407/0.272 | 0.605/0.326 | 0.209/0.093 |
| tagmem-r3 cap 8 (ours) | 0.521/0.396 | 0.305/0.194 | 0.588/0.427 | 0.349/0.196 | 0.462/0.369 | 0.266/0.193 | 0.628/0.512 | 0.209/0.070 |
매체 선호가 모델 종속: flash 이미지(0.536) > 텍스트(0.431), sonnet 텍스트(0.393) > 이미지(0.372). 재작성 이득(+0.08)은 flash만 — sonnet은 누적 노트가 이미 distractor 0.407을 커버해 동률. sonnet p1 $57.80 (8/27 23:5x 429 COST 한도로 81편 중단 → 새 키로 99290 재개). vis-pure·tagmem cap 8은 8/28~29 재측정.
0 재측정 #2 (8/27) — rf-v2·rf-v3, 공통 writer 전문 · 30 s 청킹 · cap 8
| 전략 (flash, 545행) | loc | place | 기권 | target | distractor | hidden | multi loc |
| blind | 0.255 | 0.149 | 0.40 | 0.212/0.122 | 0.293/0.172 | 0.140/0.023 | 0.023 |
| textlog (target 오라클) | 0.521 | 0.479 | 0.35 | 0.914/0.855 | 0.176/0.148 | 0.814/0.698 | 0.488 |
| frames-uniform 8장 | 0.536 | 0.372 | 0.05 | 0.494/0.306 | 0.572/0.431 | 0.465/0.186 | 0.047 |
| rf-v2 naive 누적 (신) | 0.350 | 0.250 | 0.39 | 0.478/0.341 | 0.238/0.169 | 0.419/0.279 | 0.116 |
| rf-v3 MEM-style 재작성 (신) | 0.431 | 0.325 | 0.25 | 0.427/0.306 | 0.434/0.341 | 0.512/0.419 | 0.116 |
| (참고) rf-v2 구판 26일 | 0.235 | 0.178 | 0.45 | 0.341/0.271 | 0.141/0.097 | 0.372/0.326 | 0.047 |
재작성 > 누적 (loc +0.081, place +0.075, 기권 0.39→0.25) — MEM 논문의 "summary ≫ naive concatenation" 재현, 특히 distractor 0.238→0.434. 단 target은 누적(0.478)이 재작성(0.427)보다 낫다 — 압축이 행동 세부를 깎는 trade-off. 공통 전문+30s 청킹만으로 rf-v2가 0.235→0.350. 비용 $29.75. vis-pure·tagmem(cap 8)은 8/29 재측정 후 교체.
1 설정
데이터 HF v1 final @87220689 · eval/find 584행 → 미라벨(C) 39행 제외 → 545행 / 100편 (target 255 / distractor 290)
채점 v3 계약 selections[{category, room, surface}] → loc_set(방 다중집합) / place_set(방+표면) / loc_f1 / count_ok
A 바닥 → surface="floor" · B hidden → candidates[].fixture 가 정답 표면(엄격) · 방 이름 미유도 0행
전략 blind · textlog · frames-uniform(8장) · rollforward-v2 · rollforward-vis-pure · tagmem-r3 (쓰기 v1·읽기 v2)
실행 scripts/run_v1_final_shards.sh gemini-3.6-flash v1final_flash 4 8 all → job 97359 (--gres=gpu:0 -c 8 --mem 64G --qos=own)
비용 $71.52 = 질의 $31.9 + ingest (vis $17.29 · tagmem $12.41 · rf-v2 $9.95) · wall 5.7h · chance: loc ≈ 0.287, place ≤ 0.251
2 전략별 결과
| 전략 | loc_set | place_set | loc_f1 | count_ok | 기권 |
| blind (G1 대조군) | 0.255 | 0.149 | 0.274 | 0.558 | 0.40 |
| textlog (이벤트 로그 오라클) | 0.521 | 0.479 | 0.533 | 0.633 | 0.35 |
| frames-uniform (8장) | 0.536 | 0.372 | 0.572 | 0.886 | 0.05 |
| rollforward-v2 (자필 노트) | 0.235 | 0.178 | 0.261 | 0.499 | 0.45 |
| rollforward-vis-pure | 0.701 | 0.550 | 0.738 | 0.938 | 0.01 |
| tagmem-r3 (ours) | 0.618 | 0.464 | 0.644 | 0.879 | 0.08 |
kind별 (loc / place)
| 전략 | find_target (255) | find_distractor (290) |
| blind | 0.212 / 0.122 | 0.293 / 0.172 |
| textlog | 0.914 / 0.855 | 0.176 / 0.148 (기권 0.67) |
| frames-uniform | 0.494 / 0.306 | 0.572 / 0.431 |
| rollforward-v2 | 0.341 / 0.271 | 0.141 / 0.097 |
| rollforward-vis-pure | 0.675 / 0.522 | 0.724 / 0.576 |
| tagmem-r3 | 0.647 / 0.463 | 0.593 / 0.466 |
textlog의 이중성: 로봇이 만진 물체만 로그에 있으므로 target에선 0.914(오라클), distractor에선 67% 기권. A2 공리(텍스트 로그 <0.70)는 target 축에서 위반 — 무력화 장치(D1~D4)가 필요하다는 신호가 v0.7에 이어 재확인.
hidden(43) / multi(43) 층
| 전략 | hidden loc / place | multi loc / place / cnt_ok |
| blind | 0.140 / 0.023 | 0.023 / 0.000 / 0.09 |
| textlog | 0.814 / 0.698 | 0.488 / 0.419 / 0.58 |
| frames-uniform | 0.465 / 0.186 | 0.047 / 0.047 / 0.16 |
| rollforward-v2 | 0.372 / 0.326 | 0.047 / 0.023 / 0.12 |
| rollforward-vis-pure | 0.628 / 0.419 | 0.163 / 0.070 / 0.37 |
| tagmem-r3 | 0.628 / 0.442 | 0.326 / 0.233 / 0.49 |
hidden에서 tagmem ≈ vis: 기록 시점에 "서랍 안"을 텍스트 태그(surf=dresser)로 남겨서, 문이 닫힌 뒤에도 표면이 남는다. vis는 마지막에 보이는 장면에 끌려 place가 0.419.
single 행 실패 분해
| 전략 | 정답 | 방 오답 | 방OK·표면오답 | 기권 |
| blind | 0.16 | 0.32 | 0.11 | 0.40 |
| textlog | 0.48 | 0.11 | 0.04 | 0.36 |
| frames-uniform | 0.40 | 0.37 | 0.18 | 0.05 |
| rollforward-v2 | 0.19 | 0.28 | 0.06 | 0.47 |
| rollforward-vis-pure | 0.59 | 0.24 | 0.16 | 0.01 |
| tagmem-r3 | 0.48 | 0.27 | 0.16 | 0.09 |
3 실물 예시 (원문)
[hidden 성공 · textlog] find:train_1299__2:q01 "Pick up the remote control I moved earlier"
GT bedroom / dresser → pred bedroom / dresser loc=1 place=1
"Between 160s and 329s, the remote control was moved from the side table in the bedroom to the dresser in the bedroom."
(tagmem 동일 정답: "…placed inside the drawer of the dark dresser in the bedroom (t=274s)")
[hidden 방OK·표면오답 · vis-pure] find:train_1362__0:q02 distractor "Pick up the remote control"
GT bedroom / tv stand → pred bedroom / desk loc=1 place=0
"The remote control is located on the black desk in the bedroom. It remained there throughout the episode without being moved."
[distractor 기권 · textlog] find:train_1299__2:q03 "Pick up the ladle" → abstain
"The ladle was never encountered, moved, or mentioned during the recorded episode, so its location cannot be determined from memory."
→ 이벤트 로그에는 로봇이 만진 물체만 있다 — 설계상 기권 (distractor 290행 중 67%)
[바닥 답 실패 · vis-pure] find:train_1299__2:q00 "Navigate to the cup I moved earlier"
GT floor (failed_dropped) → pred kitchen / dining table loc=0
"At t=19.4s, the robot placed the cup on the brown dining table in the kitchen, where it remained for the rest of the episode."
→ 낙하 사건을 시각 메모리가 못 잡음 (barrier: 낙하는 짧고 프레임 선택에서 빠짐)
[multi 개수 실패 · vis-pure] find:train_3377__1:q05 "Pick up all the potatos"
GT 2개 (kitchen/dining table, kitchen/countertop) → pred 1개 (dining table) cnt=0
"An irish potato (brown oval object) is visible resting on the dining table in the kitchen area throughout the episode."
[rf-v2 target 기권 · 쓰기 누락] find:train_188__2:q00 "Navigate to the pen I moved earlier" → abstain
"…picked up from the sink between 95s and 111s. However, the notes do not record where the pen was placed or dropped after…"
실패 케이스 교훈: ① 바닥(낙하) 답은 시각·텍스트 모두 놓친다 — 낙하 사건이 짧아 프레임/노트에 안 남는다 ② multi는 "두 번째 인스턴스 세기"가 병목 ③ 자필 노트(rf-v2)는 "어디에 놓았는지"를 빠뜨리는 쓰기 누락이 v0.7에 이어 재현 ④ distractor의 표면 접지(tv stand↔desk)는 vis의 공통 오류.
4 Takeaway
논문 표 관점
v0.7 S3 표(vis 0.78 / tagmem 0.67)를 v1 final 545행 표(vis 0.701 / tagmem 0.618)로 교체하되, 새로 생긴 hidden·multi 층 표가 tagmem의 자리를 만든다(hidden place 1위, multi 비오라클 1위). textlog는 "target 오라클"로 명명하고 distractor 기권을 명시해야 A2 논의가 정확해진다.
5 Next
sonnet 격자
job 97372 (blind/textlog/frames/rf-v2, 8편 체크포인트 보유) + 97370 (vis-pure/tagmem) — --begin 2026-08-27T21:00 UTC, ≈$66. 완료 후 tmp/hf_check/merge_v1final.py로 병합 → 모델×메서드 격자.
후속
gpt-5.4-mini 6종(≈$15~18). multi 인스턴스 세기·바닥 답 대책은 프롬프트/전략 튜닝이 아니라 리포트 항목(평가지 튜닝 금지). 산출물: tmp/v1final_flash_merged.json, 로그 claude/260826/exp-v1final_find_eval.md.