sframes) 조건이 uniform-sampled 프레임에 발화 내용을 텍스트 캡션으로 함께 노출하고 있었음 — Routine 태스크는 청각 지시가 핵심 단서라 이 캡션이 사실상 정답 유출이었음Routine 태스크의 sframes baseline은 MemER 논문의 "selective frames" 방식에 대응하는 uniform-sampling 대조군으로 설계됐다 — 즉 "메모리 없이 프레임만 균일 샘플링해서 보여주면 얼마나 맞추나"를 측정하려는 취지다. 그런데 실제 구현은 raw-stream을 그대로 재현하면서 발화(utterance)를 프레임에 캡션으로 interleave하고 있었다. Routine의 상당수 쿼리는 사람이 말로 지시한 내용(어디에 뭘 놓으라 등)을 기억해야 정답을 맞히는 구조라, 발화 캡션이 붙으면 이 baseline은 사실상 "정답이 텍스트로 적힌 프레임"을 보는 셈이 된다.
raw-stream baseline에서 발화 interleaving을 제거해 순수 프레임만 남기도록 재정의했다 — "MemER의 selective frames에 대응하는 uniform-sampling 버전"이라는 원래 취지에 맞게 프레임만 균일 샘플링하고 텍스트 캡션은 붙이지 않는다. 이 조건 변경은 Flash/Qwen3.8-27B/Gemma4-31B 세 reader 전원에 대해 2026-09-25 전체 재측정으로 반영했다(부분 재측정이 아님 — 이전 조건은 발화를 캡션으로 interleave했었다고 명시).
Routine Avg (n=310), 발화 캡션 제거 전 → 후:
| Reader | Old Avg (캡션 포함) | New Avg (프레임만) | Δ (pp) |
|---|---|---|---|
| Flash-7 | 51.6 | 22.3 | -29.3 |
| Qwen3.8-27B | 36.5 | 3.5 | -33.0 |
| Gemma 4-31B | 37.7 | 3.9 | -33.8 |
Flash 서브타입별 세부 변화 (S-Act/S-Obs/M-Act/M-Mix.Obs): 73.0→29.9 / 13.2→28.9 / 46.7→6.7 / 0.0→5.3. S-Act·M-Act(발화 지시 의존도가 높은 서브타입)에서 가장 크게 떨어졌고, S-Obs는 오히려 소폭 상승 — 발화 캡션이 없어도 순수 관찰(Observed) 서브타입은 프레임만으로 어느 정도 풀 수 있다는 뜻으로 해석된다.
tagmem(stag, full) Avg 60.6과의 격차:
| tagmem | frames-uniform (구) | 격차 (구) | frames-uniform (신) | 격차 (신) | |
|---|---|---|---|---|---|
| Flash-7 Routine Avg | 60.6 | 51.6 | 9.0pp | 22.3 | 38.3pp |
이 재정의는 논문의 핵심 주장(구조화된 메모리 vs. 단순 프레임 샘플링)에 대한 반박 여지를 오히려 줄여준다 — 이전 수치로는 "uniform frame만으로도 거의 따라잡는데 tagmem이 굳이 필요한가"라는 지적이 가능했지만, leakage 제거 후엔 격차가 명확하다. 다만 이는 이전 결과가 틀렸었다는 뜻이기도 해서, 논문/appendix에 이 재정의 배경과 사유를 명시적으로 서술해야 리뷰어의 "왜 숫자가 바뀌었나" 질문에 대응할 수 있다.
Finding/Restore의 sframes baseline도 동일한 발화 leakage 패턴이 있었는지 아직 미확인 — 이번엔 Routine만 점검·수정했다. Finding/Restore는 발화 의존도가 Routine보다 낮아 영향이 적을 수 있지만, 검증 없이 단정할 수 없음.
Finding/Restore의 raw-stream/frames baseline 생성 코드를 점검해 동일한 caption-interleave 로직이 남아있는지 확인 — 있다면 같은 방식으로 재정의·재측정 필요.