Projects

scene_bench_paper

Experiment reports & docs

29 reports 5 weeks
260928 — 261004 5 reports · 8 tables 5
09-28 analysis
Routine frames-uniform 재정의 — 발화 캡션 누출 제거, 3 reader 재측정
Routine frames-uniform baseline이 발화를 텍스트 캡션으로 interleave하던 leakage를 제거하고 순수 프레임만 노출하도록 재정의 — 3 reader 재측정 결과 Avg가 Flash 51.6→22.3, Qwen3.8 36.5→3.5, Gemma4 37.7→3.9로 급락, tagmem과의 격차가 9pp에서 38pp로 벌어짐
2 tables
09-28 exp
Reader 이미지 예산 절제 (8→4) — tagmem 강건 vs frames/vis 급락
Reader 이미지 예산을 8→4로 줄이는 절제 실험 — tagmem은 Finding -1.5pp/Restore -1.7pp로 McNemar 검정상 유의하지 않은 손실(p=0.108, p=0.064)인 반면 frames-uniform·rewritten-memory(svis)는 -5.7~-14.2pp로 크게 하락(p=0.000), tagmem의 index 기반 retrieval이 예산 축소에 강건함을 확인
2 tables
09-28 analysis
Resume 평가 조건 정합화 — tail-window 처리 + Single/Multi pending 분할
Resume writer가 query cut까지의 partial window를 처리하지 않아 메모리·질의 구간이 어긋나던 문제를 수정하고 Single/Multi 정의를 \1에서 \1로 재정의 — Flash tagmem Resume Avg 44.1→52.8, Qwen3.8 36.6→45.3, Gemma4 23.6→33.5로 3 reader 모두 상승
1 table
09-28 exp
Self-writer 평가 — writer=reader 6모델 자기 쓰기 표, Qwen3-VL-32B 추가
writer=reader 자기 쓰기 표에 Qwen3-VL-32B를 추가해 6모델 전체를 커버 — Flash가 직접 쓴 메모리(main table과 동일, Routine Avg 60.6)에 비해 다른 5개 모델의 자기 쓰기 tagmem은 4.5~34.8로 크게 낮고, GPT/Gemma4/Qwen3.8은 Routine에서 tagmem(22.6~34.8)보다 단순 recency baseline srf(35.5~41.0)가 오히려 더 높아 tagmem 우위가 writer 품질에 의존함을 보임
2 tables
09-28 exp
Tagmem 메모리 모달리티 절제 — text-only vs frame-only, Routine frame-only+시각장부 조건 추가
tagmem writer를 text-only/frame-only로 제한한 모달리티 절제 실험 — Finding/Restore는 frame-only가 text-only와 경쟁하거나 우위(Finding Avg 47.7 vs 42.0)인 반면 Routine/Resume은 frame-only가 급락(Routine 78.2→19.0)해 visual ledger+tags를 추가해도 절반(30.6)까지만 회복, 텍스트 요소가 발화 의존 태스크의 핵심 기여자임을 확인
1 table