Index
2026-08-31 — Analysis

본표에서 hidden 제외 결정 — open 526행 재구성 후 순위 변화 분석

scene_bench_paper | §5 Experiments 본표 재정의, HANDOFF_v1final_eval.md

TL;DR

526
본표 행수(open)
1
순위 스왑 건수
0.475
tagmem hidden place(별도표)
4/4
G1 통과 모델

1 배경 / 목적

기존 §5 본표는 e987b40f(589행) 전체 — target/distractor/hidden/multi를 모두 섞은 상태였다. hidden은 fixture 안에 감춰진 물체를 찾는 질의로, 다른 항목(직접 관찰 가능한 open 질의)과 과제 성격이 다르다(온라인 탐색에 가까움). 기존 모델 grid 카드의 Next Steps에서도 "hidden/multi 계층별 결과를 별도 표로 논문에 신설해야 함"이 미해결 과제로 남아 있었다. 사용자가 "hidden 빼야되는데 빠진 결과가 맞나?"라고 직접 문제를 제기하면서 본표 정의를 재검토하게 됐다.

기존 한계: hidden(63행)이 본표에 섞여 있으면 "메모리 시스템이 무엇을 측정하는지"가 불명확해짐 — 직접 관찰(open) 성능과 온라인 탐색(hidden) 성능이 하나의 숫자로 뭉개짐.

2 작업 내용

본표를 open만(526행/전략, e987b40f 589행 중 hidden 63행 제외)으로 4모델×7전략 전량 재계산했다. 재현 스크립트에 nohidden 옵션을 추가해 python tmp/hf_check/grid_v1final.py delta nohidden을 논문 표 원천으로 못박았다. hidden 포함판(589행)과 87220689 격자(545행)는 부록/재현용으로만 보존한다.

본표 원천: python tmp/hf_check/grid_v1final.py delta nohidden 보존(부록/재현용): grid_v1final.py delta (hidden 포함, 589행) grid_v1final.py final (87220689, 545행) open 526행 = target 294 + distractor 295 + multi 54 중 open 대상만 (hidden 63행 제외)

3 결과 (수치) — e987b40f, open 526행, loc/place

전략flash-3.6flash-3.7sonnet-5luna
blind0.281/0.1600.242/0.1550.185/0.1110.258/0.145
textlog (오라클)0.483/0.4480.479/0.4410.466/0.4200.490/0.441
frames-uniform0.567/0.3950.571/0.4200.368/0.2190.405/0.242
rf-v2 (naive)0.357/0.2560.462/0.3590.395/0.2670.244/0.139
rf-v3 (MEM-style)0.452/0.3360.448/0.3440.397/0.2540.355/0.231
vis-pure (MemER-style)0.634/0.4850.656/0.5130.382/0.2440.452/0.290
tagmem-r3 (ours)0.510/0.3850.557/0.4290.309/0.1980.359/0.221
순위 변화 = 1건뿐: hidden 포함판(589행) 대비 순위 변화는 flash-3.7에서 2위가 tagmem(.557)↔frames(.571)로 스왑된 것 하나뿐 — tagmem의 hidden 강점이 본표에서 빠진 직접적 효과. flash-3.6·luna 순위 불변, sonnet은 rf-v3≥rf-v2≥vis가 ±.01 동률권이라 사실상 불변.
결론 견고성: G1(blind ≤ chance 0.287) 4/4 통과(최대 blind .281), textlog target 오라클 .854/.837/.870/.870. 기존에 정리했던 이미지 메모리 우위(3/4 모델)·MemER-style 모델 종속성 결론 그대로 유지.
이동된 항목: tagmem의 hidden 강점(place 0.475, flash급 비오라클 1위)은 본표에서 빠지고 별도 hidden 표로 이동. multi 비오라클 1위(.163/.209, flash급)는 open 526행에 포함되므로 본표에 그대로 유지됨.

4 Takeaway

의미

본표 정의를 "open 질의만"으로 명확히 함으로써 §5 표가 실제로 측정하는 것(직접 관찰 기반 기억 회상)과 논문이 주장하는 것이 정확히 일치하게 됐다. hidden(온라인 탐색 성격)을 섞었을 때와 뺐을 때 순위가 사실상 동일하다는 점은 오히려 결론의 견고성을 보여주는 부수 효과다 — 즉 이 재구성은 "숫자를 바꾸는" 작업이 아니라 "표가 무엇을 대표하는지"를 정리하는 방법론적 정리에 가깝다.

5 Next Steps

미해결 한계

별도 hidden 표를 §5(부속 표)와 §6(Analysis) 중 어디에 배치할지 아직 결정되지 않음. multi 계층 표도 별도 신설이 필요한지 재검토 필요(현재는 본표에 포함된 채 텍스트로만 언급).

다음 작업

hidden 별도 표 초안 작성(tagmem place .475 강조) + §7 체크리스트의 "§5 표: hidden/multi 층 표 신설" 항목 마감. 평가 프로토콜 카드·모델 grid 카드와 함께 §5 절 전체 구조를 한 번에 고정.