Index
2026-09-06 — Analysis

find는 v1.0으로 재측정 안 해도 되는가 — 메모리 버전 교차영향 검증

scene_bench | HF v1.1(609076c0) 재조정 판단 근거, flash-3.7 · 47편 · 225행

TL;DR

−.085
vis-pure Δloc
225
비교 행 (hidden 제외)
47
v1.1 재렌더 편

1 배경 / 목적

HF v1.1(609076c0) 릴리즈는 47편을 재렌더(로봇이 안 만진 distractor 164개를 로봇이 안 볼 때 옮김)해 restore_distractor(Direct ②) 196행을 새로 만들었다. 이 재렌더는 find·restore 두 가족 모두의 메모리(쓰기 대상 영상)에 영향을 주므로, 처음엔 두 가족을 전부 v1.1로 재측정했다.

사용자 질문(260906): "100편 메모리가 공통일 필요 없다. find는 위치가 바뀐 게 있던 것 그대로 쓰고, restore용 메모리만 있으면 되는 거 아닌가?" — 이 판단(find 본표 = v1.0 유지, restore만 v1.1) 이 근거 없는 직관이 아니라 실측으로 맞는지 검증이 필요했다.

왜 이게 중요한가: find를 v1.0 메모리로 두고 restore를 v1.1 메모리로 두면, 같은 47편이 두 가족에서 서로 다른 입력 영상으로 측정된다. 이 차이가 무시할 만한지, 아니면 표를 왜곡할 만큼 큰지를 먼저 재야 재조정 결정을 정당화할 수 있다.

2 작업 내용

재렌더 47편의 find 질의(hidden 제외, 225행)를 같은 질의·같은 전략으로 두 메모리 버전에서 비교했다 — 유일하게 다른 변수는 writer가 읽은 영상(v1.0 옛 영상 vs v1.1 새 영상, distractor 위치만 다름)이다.

비교 축: flash-3.7 loc, 47편 × hidden 제외 = 225행 v1.0 메모리: tmp/v1delta_flash37_merged.json (e987b40f 기준 writer 산출물) v1.1 메모리: tmp/v11_flash37_merged.json (609076c0 기준 writer 산출물) 전략: blind / textlog / frames-uniform / rf-v2 / rf-v3 / vis-pure / tagmem-r3

qwen·molmo2도 동일 비교를 병행해 8B 모델의 잡음 대역을 확인했다.

3 결과

전략flash-3.7 (v1.0→v1.1)qwen (v1.0→v1.1)molmo2 (v1.0→v1.1)
blind−.009−.004−.031
textlog+.009−.004+.009
frames-uniform−.009−.058+.004
rf-v2−.009+.031+.018
rf-v3−.036+.009+.045
vis-pure.656 → .571 (−.085).000−.022
tagmem-r3−.027+.031+.022
이미지 메모리만 유의하게 흔들린다. flash-3.7의 vis-pure가 225행에서 −.085(SE≈.03) 하락 — 나머지 전략은 ±.01~.06 안(잡음 대역). 원인 가설: 보관 프레임 예산(cap 8)이 옮겨진 distractor 장면에 쓰이거나, writer가 "새로 나타난" 물체 때문에 KEEP/DROP 판단이 혼동됨.
blind·textlog·frames는 불변 — blind는 메모리 자체가 없고, textlog는 행동 로그(로봇이 만진 것만 기록)라 안 만진 distractor 이동과 무관, frames-uniform은 균등 샘플이라 사실상 영향이 없다. 이 세 전략의 불변은 비교 방법론 자체의 sanity check로도 유효.

8B 모델(qwen·molmo2)은 ±.06 안에서 뒤섞여 신호 대비 잡음이 큼 — flash-3.7의 −.085만이 명확한 신호.

4 Takeaway

재조정 결정이 사후 검증됨

find를 v1.0 결과로 고정한 260906 결정이 옳았다는 것을 수치로 확인했다: 만약 find도 v1.1로 재측정했다면 같은 47편에서 restore(v1.1 메모리)와 find(v1.1 메모리)가 "같은 데이터 버전"이라는 점에서는 일관되지만, vis-pure 행이 실제로 .085만큼 다른 값을 보였을 것이고 — 반대로 find를 v1.0에 두고 그 사실을 몰랐다면 이미지 메모리 우위 결론이 .085만큼 과대평가된 채로 보고될 뻔했다. 즉 이 검증은 "안 재도 됐다"가 아니라 "v1.0에 두기로 한 결정이 만든 편향의 크기를 안다"는 의미로 남는다.

부수적으로 이 −.085 자체가 "방해물 이동(로봇이 못 본 곳에서 물체가 옮겨지는 것)이 이미지 메모리에 주는 노이즈"의 독립적인 정량치가 됐다 — 별도로 설계하지 않고 재조정 과정에서 공짜로 얻은 ablation.

5 Next Steps

미해결

−.085의 정확한 기제(예산 경쟁 vs writer 혼동)는 미분리 — writer가 남긴 8프레임 중 몇 장이 옮겨진 distractor 장면인지 직접 세면 확인 가능(로그는 이미 있음, 별도 스크립트 필요).

다음 작업

이 표를 논문 각주 또는 부록 ablation으로 격식화할지 결정 필요 — "distractor displacement noise on image memory (Δ=−.085, n=225)" 형태로 §6 Analysis 끝에 한 문단 후보.