← 목록

릴리즈 델타 완료 — 4모델 격자를 e987b40f로 이전

2026-08-30 · scene_bench · 87220689(545행) → e987b40f(589행) · cap 8 · 공통 전문 · 30 s 청크
바뀐 15편만 재측정 + 무변경 편 재채점 + 캐시 메모리 재질의 — 전 결론 재현, 릴리즈 이동에 강건
TL;DR 편 5삭제·5신규·10재시뮬 릴리즈로 격자를 이전. 모델당 = 15편 × 7전략 재측정 + 무변경 편 옛 행 재채점 + 26행 캐시 메모리 재질의(재작성 4 + 옛 C 미라벨 해소 22). 전략당 정확히 589행으로 수지 일치(4모델, missing 0). 87220689 대비 최대 |Δloc| ≈ 0.02 — 비오라클 순위 4모델 모두 불변, G1 4/4 · textlog target .86–.89 유지. 실비 $69.28(sonnet 25.0 · flash-3.6 23.8 · flash-3.7 18.3 · luna 2.2), 429 없음.
589 × 7 × 4
행 수지 일치 (질의 수 = 행 수)
0/28
순위 변동 (전략×모델)
≤ 0.020
최대 |Δloc| vs 87220689
$69.28
델타 실비 (전량 재측정 대비 ~1/6)

1절차

# 모델당 1잡 (own×2, extra×2): ① 15편 재측정 → ② 캐시 메모리 재질의 체인 V1_DATA=$NEW V1_CONTEXTS=<15편> run_v1_final_shards.sh <model> v1delta_<t> 4 8 <7전략> \ && V1_DATA=$NEW V1_CONTEXTS=<캐시 편> ... --memory-from <옛 병합> --tagmem-graph <옛 병합> # ingest 비용 0 확인 python tmp/hf_check/merge_delta.py <tag> <old_merged> tmp/v1delta_<tag>_merged.json # 재채점+재측정+캐시 26행 python tmp/hf_check/grid_v1final.py delta
사고 2건 ① 첫 제출이 스크립트 all 목록의 rf-v3 누락으로 6전략으로 기동 → 30초 만에 취소·체크포인트 삭제·수정 재제출(손실 <$1). ② 병합 검산에서 옛 릴리즈 C(표면 미라벨)로 제외됐던 질의 22개가 새 릴리즈에서 채점 가능해졌는데 델타 계획에 안 잡힘 → cached2 잡 4개로 보강. 교훈: 델타는 질의 텍스트 변화만이 아니라 채점 가능성 변화도 잡아야 하며, "전략당 행 수 = 질의 수" 검산이 누락을 드러낸다.

2e987b40f 최종 격자 (loc / place, 589행: target 294 · distr 295 · hidden 63 · multi 54)

전략flash-3.6flash-3.7sonnet-5luna
blind0.268/0.1450.225/0.1380.172/0.1010.239/0.130
textlog (오라클)0.519/0.4750.515/0.4680.505/0.4510.526/0.468
frames-uniform0.551/0.3690.558/0.3970.362/0.2070.384/0.221
rf-v2 (MEM naive)0.358/0.2580.474/0.3690.392/0.2600.237/0.132
rf-v3 (MEM-style)0.451/0.3380.442/0.3400.386/0.2410.343/0.222
vis-pure (MemER-style)0.626/0.4680.650/0.4940.363/0.2290.428/0.267
tagmem-r3 (ours)0.517/0.3950.560/0.4340.295/0.1860.338/0.205

비오라클 순위(4모델 모두 87220689과 동일): flash-3.6 vis > frames > tagmem > rf-v3 > rf-v2 · flash-3.7 vis .650 > tagmem .560 > frames .558 · sonnet rf-v2 .392 > rf-v3 .386 > vis .363 · luna vis .428 > frames .384. G1(blind ≤ 0.287) 4/4 · textlog target .876/.863/.890/.890(hidden 43→63 확대로 소폭↓).

부분집합 결론 유지: tagmem = flash급 hidden place 1위(.475/.475) · multi 1위(.185/.241) · target 1위(.577/.601); distr 1위 vis(.712/.708); sonnet·luna는 텍스트 전략 우위(hidden에서 rf-v2/v3).

3Takeaway · Next

  • 논문 수치를 e987b40f(589행)로 확정 — 전량 재측정(~$420) 없이 $69로 이전, 모든 주장 재현. 릴리즈 이동에 대한 강건성 자체가 벤치마크 신뢰성 근거.
  • 델타 파이프라인(plan → rerun → cached 재질의 → 재채점 병합) 실전 검증 — 행 수지 4모델 모두 정확히 닫힘.
  • 허브 6번째 배치가 오면 같은 절차 재실행. 87220689 결과는 부록/재현용 보존, vis-pure 최근성 분석은 87220689 전량 기준 유지.
  • 파일: 병합 tmp/v1delta_{flash36,flash37,sonnet,luna}_merged.json · 격자 grid_v1final.py delta · 로그 claude/260830/exp-v1delta_e987b40f.md.