Resume 전용 관찰 조건 도입 — wrist-view+room-name list로 3-reader×6-method 커버리지 완성

TL;DR

새 관찰 조건: resume_v2_wristrooms_61871a3e — exocentric 320×240 + wrist-view inset 160×120을 480×240 캔버스에 합성, writer는 30초 윈도우당 30프레임(1fps)으로 밀도 증가, reader에게 쿼리 시점 room-name 목록 추가 제공 (이미지 cap 8은 유지)
Flash 결과: srf 33.5% / uniform frames 26.1% / svis 32.3% / stag 44.1%
세부(중간 분석): Flash에서 svis Single 48.4% → Multi 28.5%로 급락, srf Multi 32.3%, stag Multi 45.4%로 가장 안정
커버리지 완성: 이전에는 Flash만 6개 method 전부, open reader(Qwen3.8/Gemma4)는 3개(srf/svis/stag)만 있었는데, 이번에 3-reader × 6-method 전체가 채워짐

44.1%

Flash stag (최고)

33.5%

Flash srf

32.3%

Flash svis

3×6

reader×method 완성

1 배경 / 목적

기존 Resume 분석은 "Resume requires precise completion counts, yet srf does not consistently outperform frame memory"라는 관찰에서 출발했지만, 원인이 불명확했다 — 구 프로토콜은 단일 exocentric 뷰, 낮은 writer 관찰 빈도, room 인벤토리 부재라는 정보 제약이 있었고, 이 제약이 memory representation(텍스트 vs 시각) 간 비교 자체를 오염시키고 있을 가능성이 있었다. 또한 open-reader(Qwen3.8, Gemma4) 쪽은 Flash가 작성한 srf/svis/stag 3개 method만 있고, No Memory/GT Action Log/Uniform Frames 3개 컨트롤은 이 조건에서 아예 비어 있어(dash) 3-reader 비교가 불완전했다.

기존 한계: Flash만 6개 method 전부 존재, Qwen3.8/Gemma4는 3개 컨트롤이 dash로 비어 있음 — reader 간 비교가 반쪽짜리였다.

2 작업 내용

Resume 전용 관찰 조건 resume_v2_wristrooms_61871a3e를 신설했다. 이미지 구성을 exocentric 320×240 + wrist-view inset 160×120을 480×240 캔버스로 합성하고, writer가 30초 윈도우당 30프레임(1fps)을 받도록 밀도를 높였으며(기존 rewrite 빈도는 유지, density annotation만 추가), reader에게 쿼리 시점 room-name 목록을 별도 제공해 room-visit 요청에 필요한 방 인벤토리를 확보했다. 메모리 이미지 cap은 8장으로 기존과 동일하게 유지. 이 조건에서 Flash·Qwen3.8·Gemma4 3개 reader 모두 6개 method(No Memory/GT Action Log/Uniform Frames/srf/svis/stag) 전부를 채웠다 — open reader는 자체 No Memory/GT Action Log/Uniform Frames 예측 + Flash가 작성한 srf/svis/stag 메모리를 사용한다.

조건 ID: resume_v2_wristrooms_61871a3e 이미지: exocentric 320x240 + wrist inset 160x120 → 480x240 캔버스 writer: 30 frames / 30s window (1fps), density annotation 추가 reader 추가 입력: query-time room-name list memory image cap: 8 (불변) 쿼리 규모: 161 (Single 31 / Multi 130), data_rev로 재생성된 34개 pressing context 식별 readers: Flash / Qwen3.8 / Gemma4 — 이번에 3개 전원 6-method 완성

분석 문장은 하루 안에 두 차례 개정됐다: 먼저 Single/Multi 세부 수치를 명시한 count-sensitive subtype 서술로 바꿨다가(12b98a2), 곧 근거 나열이 장황하다고 판단해 요약형 문장으로 축약했다(b59afd8) — "srf가 svis보다 평균 Resume accuracy가 높고, stag이 세 모델 모두에서 최고"로 정리.

3 결과 (수치)

Method	Flash accuracy	비고
stag	44.1%	텍스트+시각 결합, 최고
srf	33.5%	Multi에서 상대적 우위
svis	32.3%	Single에서 상대적 우위
uniform frames	26.1%	writer 없는 균일 샘플링

중간 분석 단계에서 관측된 Single/Multi 세부 수치 (Flash, 12b98a2 시점)

Method	Single	Multi
svis	48.4%	28.5%
srf	—	32.3%
stag	—	45.4%

이 세부 수치는 이후 커밋(b59afd8)에서 본문 서술을 요약형으로 축약하며 표에서는 유지되지만 본문 문장에서는 제거됐다.

상호보완 패턴: svis는 Single(48.4%)에서 강하지만 Multi(28.5%)에서 급락, srf는 Multi(32.3%)에서 상대적으로 안정 — "8-image 입력 제한이 다중 행동 카운트 복원에 필요한 관찰을 빠뜨린다"는 가설과 일치.

인과 해석 제약: appendix에 "이 조건은 기존 프로토콜과 다른 정보량을 제공하므로, 구 프로토콜 대비 개선을 memory retention 효과만으로 돌릴 수 없다"고 명시 — 프로토콜 자체가 바뀌었기 때문.

4 Takeaway

의미

"Resume requires precise completion counts"라는 원래 가설은 구 프로토콜의 정보 부족(단일 뷰, 낮은 관찰 빈도, room 인벤토리 부재)에 의해 관찰이 오염돼 있었다. wrist-view+room-list 조건을 추가해 관찰 정보를 강화하자, 텍스트(srf)와 시각(svis) 메모리가 Single vs Multi 축에서 상호보완적이라는 더 세밀한 패턴이 드러났고, 이는 Memory QA 섹션 재작성(정보 요구사항 프레임, 별도 카드)과 진단표(count-wrong 분해, 별도 카드)의 핵심 근거가 됐다.

5 Next Steps

미해결 한계

새 조건은 "이 벤치마크 자체에서 진단 후 held-out split 없이 선택됐다"는 한계가 appendix에 명시돼 있다 — method 간 상대적 격차가 이 진단 과정에 의해 사후적으로 유리해졌을 가능성을 배제할 수 없다. 구/신 프로토콜 컨트롤은 섞지 않기로 했으나, 두 프로토콜 간 정량적 개선폭을 논문에 명시할지는 미정.

다음 작업

Single/Multi 세부 수치를 본문에 다시 노출할지, appendix 표로만 남길지 결정. count-wrong 진단표(별도 카드)와 교차 참조해 "왜 Multi에서 svis가 무너지는가"를 8-image cap 상향 ablation으로 직접 검증하는 실험 설계.