같은 조건이었나 — 전략 간 조건 차이 전수 감사

TL;DR

🔴 resume 에서 vis-pure 는 이미지를 최대 16장(중앙 12~16) 읽었고 frames 는 8, tagmem 은 6장이었다. routine 에서도 tagmem 만 6장.
🔴 resume 컷 경계가 tagmem 만 달랐다: 마지막 컷 행 100/161 에서 tagmem 메모리가 컷보다 중앙 14.8 s 앞에서 끝남.
반대로 tagmem 에만 유리했던 조건: 읽기 안내의 답변 규칙(부분 답 · resume 계산), 비-flash restore 질의 힌트.
원인: 8월 말 이미지 예산 통일을 find·restore 러너 호출부에만 적용 → 나중에 만든 resume·routine 러너가 인자 없이 호출해 기본값(16·6) 사용. 런 기록엔 cap 8 만 남아 안 보였다.
처리: 버그 3건 수정·재측정 중, 계산 규칙 제거(읽기 v9), 힌트 조건 통일, 나머지는 논문에 명시. find·restore 이미지 예산은 5모델 모두 깨끗.

1차이 목록 — 검증 수치와 처리

#	차이	범위	누가 유리	검증(실측)	결정	상태
1	vis-pure writer 이미지 상한 미전달 → 최대 16장	resume · 5모델	vis-pure	읽기당 중앙 12~16장 (frames 8 · tagmem 6)	수정	cap 8 재측정 실행 중
2	tagmem 검색 이미지 예산 미전달 → 6장	resume·routine · 5모델	tagmem 불리	tagmem 최대 6장 (find·restore 8)	수정	재읽기 실행 중
4	resume 컷 경계: tagmem 만 전편 ingest	resume · 5모델	tagmem 불리	마지막 컷 행 100/161 에서 메모리가 컷보다 중앙 14.8 s 앞 (최대 29.4 s)	수정	같은 컷 뷰로 재ingest 실행 중
5a	find·restore 부분 답 규칙이 tagmem 안내에만	find·restore	tagmem	헤드라인 .648→.650 · .362→.368, loc_f1 .572→.620	유지 + 명시	논문 각주
5b	resume 계산 규칙이 tagmem 안내에만	resume·routine	tagmem	파일럿 .188→.219 (1행/32)	제거	읽기 v9 재읽기 실행 중
6	restore 질의 힌트가 비-flash 에선 tagmem 에만	restore · 4모델	tagmem	flash 6전략 켬, 비-flash tagmem 만 켬	조건 통일	비-flash tagmem 힌트 끄고 재읽기 대기
3	routine 발화가 읽기 때 전략마다 다름	routine · 5모델	frames·tagmem	frames 캡션·tagmem 원문, vis-pure 없음	유지 + 명시	논문 각주
10	frames 마지막 표본 = 질의 프레임	4가족	frames 약간 불리	기억 7장 + 질의 1장	유지 + 명시	논문 각주
9	런 기록에 cap 8 만, writer·읽기 판 없음	resume·routine	추적성	모든 런 cap 8 기록	수정	settings·n_mem_images·가드 추가, 커밋·README 남음
7	writer 어휘 목록 차이	routine·resume	—	현재 final 에선 동일	해소	—
8	rf-v3 빈 응답이 요약을 지움	전 가족	—	빈 요약 청크 0	기각	—
13	--memory-from 보관 프레임 재절단 없음	find·restore	—	vis-pure 보관 전 모델 8장	기각	—
11	rf-v3 writer 프레임 시각 표기 없음	전 가족	rf-v3 약간 불리	코드 확인	기록	—
M	tagmem 만 평가 행 위에서 반복 조정	전 가족	tagmem	쓰기 v1~v7 · 읽기 v2~v9	명시	보류 분할 재확인 권장

2읽기당 메모리 이미지 수 (저장 산출물 전수, 수정 전)

가족	frames-uniform	vis-pure	tagmem
find	8	8	8
restore	8	8	8
resume	8	중앙 12~16, 최대 16	최대 6
routine	8	8	최대 6

차이 없음으로 확인: 질의 이미지(전 가족 같은 1장) · resume 지시문(blind 포함 공통) · 재시도·파서 · temperature·max_tokens · 청킹과 writer 전문 · 채점기와 제외 규칙 · 샤드/vLLM 스크립트의 cap 인자 · find/restore 이미지 예산.

3재측정 (진행 중)

무엇	잡	API 비용(추정)
resume vis-pure cap 8 재ingest+읽기, 5모델	127389–127393	flash ≈$12 · luna ≈$1.5
resume tagmem 같은 컷 뷰 재ingest + 읽기 v9 · 8장, 5모델	127427 · 127429 · 127431–127433	flash ≈$13 · luna ≈$3
routine tagmem 읽기 v9 · 8장, 5모델	127428 · 127430 · 오픈 체인	flash ≈$4.3 · luna ≈$0.5
restore tagmem 힌트 없이 재읽기, 비-flash 4모델	127439–127442	luna ≈$1

재발 방지: resume·routine 러너가 행마다 실제 메모리 이미지 수(n_mem_images)를 기록하고 cap 을 넘으면 즉시 중단, 결과에 writer·읽기 설정 기록. 테스트 189 passed.

4논문에 명시할 사항

모든 전략 읽기당 메모리 이미지 ≤ 8 + 질의 1장. frames-uniform 은 끝점 포함 균등 표본이라 기억 7장 + 질의 1장.
resume: 모든 writer 는 마지막 컷에서 끝나는 같은 뷰로 ingest, 청크 끝이 컷 이하인 메모리만 사용.
routine 발화: 모든 writer 입력에 동일 주입, 읽기 때 무엇이 남는지는 방법의 성질.
tagmem 읽기 안내: find·restore 는 부분 답 규칙 포함, resume·routine 은 계산 규칙 없는 v9.
restore 질의 힌트: flash 표는 전 전략 켬, 비-flash 표는 전 전략 끔.
tagmem 은 평가 행 위에서 반복 조정됨(보류 분할 재확인 권장).

원천: claude/260915/analysis-fairness_audit.md