4모델×7전략 v1 final 벤치마크 grid — e987b40f 델타로 논문 수치 확정

TL;DR

4모델(flash-3.6, flash-3.7, sonnet-5, gpt-5.6-luna) × 7전략(blind/textlog/frames/rf-v2/rf-v3/vis-pure/tagmem) grid 완성 — 87220689(545행) → e987b40f(589행) 릴리즈 델타로 확정
순위 안정성 검증: 델타 후 최대 |Δloc| ≈ 0.02, 비오라클 순위 4모델 전부 불변, G1(blind≤chance) 4/4 통과
예산 관리: Letsur 게이트웨이 $100/일 하드리밋에 걸려 실행을 3개 버킷으로 분산, 격자 총비용 ≈$300 + 델타 $69.28

0.650

최고 loc(flash-3.7 vis-pure)

4/4

G1 통과 모델

589

최종 행수(e987b40f)

$369

총 실비(격자+델타)

1 배경 / 목적

§5 Experiments 표에 넣을 "citable" 최종 숫자를 확보하는 것이 목표였다. 8/26 예비 리포트는 cap16·구 프롬프트 기준이라 무효화됐고(프로토콜 확정 카드 참조), 확정된 cap8 프로토콜로 4모델×7전략을 처음부터 다시 측정해야 했다. 동시에 허브 데이터가 87220689 → e987b40f로 갱신되고 있어, 캠페인 완주 후 델타만 재측정하는 전략을 택했다.

제약: Letsur 게이트웨이가 $100/일 하드 리밋(429 usage_limit_exceeded)을 걸어 하루 예산을 ≤$80로 관리해야 했음 — 8/27 23:5x UTC 실제로 리밋에 걸려 새 API 키로 교체.

2 작업 내용

1) 모델 격자 확정까지 3차례 수정

1차(8/28): gpt-5.6 계열 포함 검토 — 이미지 입력 카나리아 테스트(1장) OK: gemini-3.7-flash · gpt-5.6 · 5.6-luna · 5.6-terra · gpt-5.4-mini/nano · claude-haiku-4-5 · grok-4.3 빈 응답(제외): gemini-3.5-flash · qwen3.7-plus · deepseek-v4-flash 2차(8/28, 사용자 결정): flash급만(단가 ≤~$1/$5, 이미지 입력 OK) → flash-3.6·flash-3.7·sonnet-5·haiku-4.5·gpt-5.4-mini·gpt-5.4-nano·gpt-5.6-luna 3차(8/28, 사용자 정정): gpt-5.4-mini·gpt-5.4-nano·claude-haiku-4.5 제외(잡 99944/99946/99948 취소) → 최종 4모델: flash-3.6 · flash-3.7 · sonnet-5 · gpt-5.6-luna

2) 버킷 분할 실행 (예산 제약 대응)

B2 8/29 21:00 UTC = gemini-3.7-flash(99947, ≈$67·$74.73 실비) + gpt-5.6-luna(99945, $9.67) = $73 B4 8/31 = sonnet vis-pure($27) + 릴리즈 델타($33) — 단, 8/29 09:46 UTC 사용자 승인("오늘 $35 더 써도 돼")으로 sonnet vis-pure(98823)를 scontrol update JobID=98823 StartTime=now로 즉시 앞당겨 8/29 11:26 UTC 완료($27.17)

3) 릴리즈 델타 (87220689 → e987b40f, 8/30 20:13 UTC)

15편(신규 5+재시뮬 10) 재측정 + 무변경 편 재채점 + 캐시 메모리 재질의 26행(재작성 4 + 옛 C 미라벨 해소 22 — 델타 계획이 못 잡아 검산 중 발견·보강). 전략당 행 수 589 정확히 일치(4모델). 실비 $69.28.

3 결과 (수치) — e987b40f(589행), 4모델×7전략, loc/place

전략	flash-3.6	flash-3.7	sonnet-5	gpt-5.6-luna
blind	0.268/0.145	0.225/0.138	0.172/0.101	0.239/0.130
textlog (오라클)	0.519/0.475	0.515/0.468	0.505/0.451	0.526/0.468
frames-uniform	0.551/0.369	0.558/0.397	0.362/0.207	0.384/0.221
rf-v2 (naive)	0.358/0.258	0.474/0.369	0.392/0.260	0.237/0.132
rf-v3 (MEM-style)	0.451/0.338	0.442/0.340	0.386/0.241	0.343/0.222
vis-pure (MemER-style)	0.626/0.468	0.650/0.494	0.363/0.229	0.428/0.267
tagmem-r3 (ours)	0.517/0.395	0.560/0.434	0.295/0.186	0.338/0.205

순위 안정성: 87220689(545행) 대비 최대 |Δloc| ≈ 0.02, 비오라클 순위 4모델 전부 불변 — 델타가 결론을 흔들지 않음을 검증. G1(blind ≤ chance 0.287) 4/4 통과, textlog target 오라클 .876/.863/.890/.890.

부분집합 결론 유지: tagmem이 flash급에서 hidden place(.475/.475)·multi(.185/.241) 비오라클 1위 유지, distractor 1위는 vis-pure(.712/.708) — 전체 1위는 아니지만 특정 조건에서 우위 확인.

4 Takeaway

의미

§5 표 원천 수치가 python tmp/hf_check/grid_v1final.py delta 실행 결과로 고정됐다 — 즉 "이 숫자가 논문에 실리는 최종 숫자"라고 못박을 수 있는 상태가 됐다. 델타 전후 순위가 흔들리지 않았다는 것은 87220689 기준으로 진행했던 중간 분석(모델별 매체 선호, MemER-style 모델 종속성 등)이 release 버전에서도 유효함을 뜻한다.

5 Next Steps

미해결 한계

hidden/multi 계층별 결과를 별도 표로 논문에 신설해야 함(현재는 HANDOFF 텍스트에만 존재). 87220689 격자는 부록/재현용으로만 보존하기로 했는데 부록 반영은 아직 체크리스트 미완료.

다음 작업

§5 표에 hidden/multi 층 표 추가, 부록에 87220689 vs e987b40f 비교 및 vis-pure 최근성 분석(87220689 전량 기준, 별도 분석 카드 참조) 삽입.