Index
2026-09-26 — Experiment

Self-writer 평가 — writer=reader 6모델 자기 쓰기 표, Qwen3-VL-32B 추가

scene_bench_paper | tables/selfwriter.tex, scripts/build_selfwriter_table.py

TL;DR

60.6
Flash tagmem Routine
4.5
Molmo2 tagmem Routine
3/6
srf>tagmem 모델 수(Routine)
6
전체 모델

1 배경 / 목적

메인 결과는 항상 Flash가 writer 역할을 전담하고, 다른 open reader들은 Flash가 쓴 메모리를 재사용한다("open reader use Flash-written memories"). 이는 "메모리 작성 품질이 좋다면 어떤 리더든 잘 읽는다"만 보여줄 뿐, "각 모델이 직접 자기 메모리를 써야 한다면 어떨까"라는 질문에는 답하지 못한다. 이를 검증하기 위해 writer=reader(자기 쓰기) 조건의 표를 구축했고, 이번 커밋에서 Qwen3-VL-32B의 자기 쓰기 결과(Gemma4·Qwen3.8·Molmo2와 함께 2026-09-26 측정)를 추가해 6모델 전체를 완성했다.

2 작업 내용

scripts/build_selfwriter_table.py (+143줄, 32B 모델 추가) tables/selfwriter.tex / selfwriter.json (신규, 4개 태스크 × 6전략 × 6모델) 측정 내역: - Gemma4-31B, Qwen3.8-27B, Qwen3-VL-32B, Molmo2: 자기 쓰기 260926 신규 측정 - Luna(Flash) routine uniform: 재읽기(다른 카드의 frames-uniform 재정의 반영) - Flash 행은 main table과 동일 값 재사용 (Flash가 곧 main table의 writer이므로 "자기 쓰기"가 이미 main table 조건과 동일)

Scoring·subtype·query set은 main table(tier1_subtypes)과 동일 기준을 따른다. Resume은 업데이트된 조건(wrist inset, 1fps writer, room list)을 사용한다.

3 결과 (수치 필수)

tagmem(stag) Avg, 모델별 (Finding / Restore / Resume / Routine):

Model (self-writer)FindingRestoreResumeRoutine
Flash-7 (= main table)46.619.052.860.6
GPT18.52.69.922.6
Gemma 4-31B20.13.218.034.8
Qwen3.8-27B19.43.216.132.3
Qwen3-VL-32B15.94.09.319.7
Molmo 27.41.17.54.5

Routine에서 tagmem(stag) vs srf(recency-window baseline) 비교 — 모델별 최고 전략이 달라짐:

Modeltagmem (stag)srf승자
GPT22.636.8srf (+14.2)
Gemma 4-31B34.841.0srf (+6.2)
Qwen3.8-27B32.335.5srf (+3.2)
Qwen3-VL-32B19.76.5tagmem (+13.2)
Molmo 24.53.5tagmem (+1.0)

GT Action Log(레퍼런스 상한)도 모델별로 차이가 크다 — Resume 기준 Flash/GPT 98~100 vs Gemma4-31B 89.4 vs Qwen3-VL-32B 75.8: 정답 텍스트를 그대로 줘도 일부 모델은 resume_ok 판정을 10~24%p 실패한다(메모리 품질과 무관한 순수 instruction-following 격차).

핵심 발견: Flash 외 5개 모델의 자기 쓰기 tagmem은 Flash-작성 메모리 대비 전 태스크에서 크게 낮다(Routine 기준 최대 -56.1pp, Molmo2). 더 나아가 GPT/Gemma4-31B/Qwen3.8-27B 세 모델은 Routine에서 tagmem이 srf보다 오히려 낮다 — tagmem의 구조화된 저장 형식이 tag/entry 품질이 낮은 writer에게는 오히려 손해라는 뜻이다.

4 Takeaway

의미

메인 결과(Flash-writer)는 tagmem에 유리한 세팅이다 — 이번 self-writer 표는 tagmem의 우위가 writer 품질에 조건부임을 처음으로 정량화했다. writer가 태그·엔트리를 정확히 채울 수 있을 때만 구조화된 메모리가 이득이고, 그렇지 못하면 단순 recency 윈도우가 더 안전한 baseline이 된다. 이는 논문의 기여를 "구조화된 메모리가 항상 낫다"가 아니라 "좋은 writer가 있을 때 구조화된 메모리의 이득이 커진다"로 더 정확히 서술해야 함을 시사한다.

5 Next Steps

미해결 한계

왜 GPT/Gemma4/Qwen3.8의 self-written tagmem이 srf보다 낮은지 원인 분석이 안 돼 있다 — tag 품질 저하인지, entry 누락인지, 구조 자체를 못 채우는지 구분 필요.

다음 실험

약한 self-writer(GPT 등)가 생성한 tag/entry 샘플을 직접 검사해 실패 모드를 분류. "Flash가 쓰고 약한 모델이 읽기" vs "약한 모델이 쓰고 Flash가 읽기" 교차 조건을 추가해 writer/reader 기여를 분리 측정.