Index
2026-09-26 — Experiment

Reader 이미지 예산 절제 (8→4) — tagmem 강건 vs frames/vis 급락

scene_bench_paper | tables/ablation_image_budget.tex

TL;DR

-1.5
tagmem Finding Δ(pp)
-14.1
frames-uniform Finding Δ(pp)
-14.2
svis Finding Δ(pp)
4
신규 이미지 예산

1 배경 / 목적

메인 표는 리더에게 최대 8장의 메모리 이미지를 준다. 리뷰어가 물어볼 법한 "이미지 예산을 줄이면 각 전략이 얼마나 버티는가"에 대응하기 위해 8→4 예산 절제 실험을 설계했다. 전략별로 예산 축소 방식이 다르다: sframes는 4프레임 uniform sampling, svis는 4-frame 기준으로 메모리를 다시 요약·재작성, stag(tagmem)는 index를 그대로 유지한 채 retrieval 시 최대 4장만 가져온다.

2 작업 내용

tables/ablation_image_budget.tex (신규, Flash-7 reader 기준) - \sframes{}: 4프레임 uniform sampling (8프레임 조건의 절반 subsample) - \svis{}: 4-frame 예산으로 메모리 재작성 (요약 로직 재실행) - \stag{}: 인덱스 구조 동일, retrieval 시 최대 4장만 반환 - 유의성 검정: McNemar exact test (동일 행 기준 pass/fail 뒤집힘 카운트)

3 결과 (수치 필수)

Finding (n=717):

Strategy8-img Avg4-img AvgΔ (pp)McNemar (+/−, p)
sframes (uniform)35.721.6-14.1+39/−140, p=0.000
svis (rewritten)44.129.8-14.2+44/−146, p=0.000
stag (tagmem)46.645.0-1.5+14/−25, p=0.108 (n.s.)

Restore (n=575):

Strategy8-img Avg4-img AvgΔ (pp)McNemar (+/−, p)
sframes (uniform)9.63.8-5.7+10/−43, p=0.000
svis (rewritten)16.07.3-8.7+14/−64, p=0.000
stag (tagmem)19.017.2-1.7+7/−17, p=0.064 (경계, n.s.)
핵심 발견: tagmem은 두 태스크 모두 예산 절반 축소에도 통계적으로 유의한 손실이 없다(McNemar p>0.05). frames-uniform/svis는 손실 방향이 명확히 비대칭(+ 대비 −가 3~5배 많음)이라 p=0.000으로 확실히 유의하다.

4 Takeaway

의미

tagmem의 index 기반 retrieval은 "중요한 4장을 고르는" 방식이라 예산이 줄어도 관련성 낮은 이미지부터 잘려나가는 반면, uniform sampling·전체 재요약 방식은 예산이 줄면 무작위로 정보가 손실된다. 이는 tagmem이 정확도뿐 아니라 저장/전송 비용 대비 효율에서도 실용적 이점이 있다는 근거로 논문에 추가할 수 있다.

5 Next Steps

미해결 한계

Routine/Resume에 대한 이미지 예산 ablation은 아직 측정되지 않음 — 이 두 태스크는 발화 의존도가 높아(다른 카드의 모달리티 절제 결과 참조) 이미지 예산 축소의 영향이 Finding/Restore와 다를 가능성이 있음.

다음 실험

Routine/Resume에 동일한 8→4 절제 적용. 더 극단적인 예산(2장)에서도 tagmem의 강건성이 유지되는지 추가 확인해 "예산-성능" 곡선을 완성.