TL;DR
- 현상: sonnet-5의 vis-pure(MemER-style) loc 0.380 — flash-3.6(0.626) 대비 -0.246, 4모델 중 3위(모델 중 유일하게 텍스트가 이미지보다 우위)
- 원인: sonnet의 KEEP/DROP 정책이 오래된 프레임을 적극 축출 — 보관 8프레임 평균 정규화 시점 0.81(전반부 3.4%만 유지) vs flash 0.51(전반부 49.6% 유지)
- 결과적으로 메모리가 "최근 ~40% 슬라이딩 윈도우"로 퇴화 — 초반(≈20s) 목격 물체의 원위치 정보를 잃고 최근 프레임 기준으로 추측
-0.246
sonnet loc 격차(vs flash)
0.81 / 0.51
평균 정규화 보관 시점(sonnet/flash)
1 배경 / 목적
4모델×7전략 grid(결과 카드 참조)에서 vis-pure(MemER-style keyframe memory)는 flash-3.6/3.7·luna 3개 모델에서 비오라클 1위였지만 sonnet-5에서만 0.380/0.248로 rf-v2(0.393)·rf-v3(0.393)보다도 낮았다. 같은 알고리즘(예산 8, KEEP 선택)인데 모델에 따라 순위가 뒤집히는 이유를 규명해야 논문 §6 Analysis에서 "매체 선호가 모델 종속적"이라는 주장을 수치로 뒷받침할 수 있었다.
관찰: flash는 이미지(0.536) > 텍스트(0.431) 선호, sonnet은 텍스트(0.393) > 이미지(0.372) 선호 — 이 매체 선호 자체는 이미 확인됐지만, vis-pure 내부에서 왜 이렇게까지 격차가 나는지는 별도 규명이 필요했다.
2 작업 내용
동일 545행에 대해 flash와 sonnet의 vis-pure 정오답을 교차 비교하고, 각 모델이 KEEP한 8프레임의 "에피소드 내 정규화 시점"(0=시작, 1=끝) 분포를 비교했다.
교차표: flash만 맞음 178 · sonnet만 맞음 44 · 둘 다 맞음 163 · 둘 다 틀림 160
보관 프레임 시점 분포:
sonnet: 평균 정규화 시점 0.81, 전반부(0~50%) 프레임 비중 3.4%, 최초 보관 프레임 평균 위치 62.5%
flash : 평균 정규화 시점 0.51, 전반부(0~50%) 프레임 비중 49.6%, 최초 보관 프레임 평균 위치 6.8%
보관 집합 유사도: Jaccard(sonnet 보관, flash 보관) = 0.155 (사실상 다른 프레임을 선택)
3 결과 (수치)
| 모델 | vis-pure loc/place | 보관 평균 정규화 시점 | 전반부 유지 비중 |
|---|
| flash-3.6 | 0.626/0.462 | 0.51 | 49.6% |
| sonnet-5 | 0.380/0.248 | 0.81 | 3.4% |
메모리 퇴화: sonnet의 KEEP/DROP은 실질적으로 최근 ~40% 구간의 슬라이딩 윈도우로 수렴 — 에피소드 초반(≈20초 이내)에 물체를 목격/이동시킨 정보가 저장 단계에서부터 소실됨.
정합성: 이 메커니즘은 "sonnet은 텍스트 매체 선호"라는 상위 결론과 일치 — 이미지 매체(vis-pure)에서 sonnet이 스스로 정보를 버리는 정책을 택하는 것이 텍스트 대비 이미지 열위의 구체적 원인.
4 Takeaway
의미
논문 §5/§6에 "MemER-style 전략(vis-pure)은 4개 전략 중 모델 종속성이 가장 크다(flash 1위 ↔ sonnet 3위)"고 쓸 수 있는 정량적 근거(보관 시점 분포, Jaccard)가 확보됐다. 단순히 "sonnet이 이미지에 약하다"는 서술이 아니라 "KEEP/DROP이 최근성 편향을 만든다"는 메커니즘 수준의 설명이라 리뷰어 반박에 대응 가능하다.
5 Next Steps
미해결 한계
현재는 관찰적 상관관계(보관 시점 vs 정답률)만 확인했고, KEEP/DROP 정책에 개입한 causal 실험은 없음. sonnet이 왜 최근 프레임을 우선하는 정책을 학습/추론했는지(프롬프트 해석 차이인지 모델 성향인지)는 미규명.
다음 실험
KEEP/DROP에 최초 N프레임 강제 보존 슬롯을 추가하는 ablation으로 sonnet의 loc이 개선되는지 확인 — 개선되면 "최근성 편향이 원인"이라는 주장이 causal하게 뒷받침됨. 87220689 전량 기준으로 수행된 분석이므로 e987b40f(589행) 최종본에서도 동일 경향 재확인 필요.