← 목록

restore 패밀리 7모델 격자 — 원위치 기억

2026-09-02 · bcaf2815 · 322행(hidden 56·multi 79) · (now, original) 양면 동시 정답 · 메모리 재사용 읽기 전용
API 4(게이트웨이) + 오픈 3(자체 서빙·greedy) · 실비 API ≈$57 · 오픈 $0
TL;DR ① blind ≤ .116, G1 7/7 통과 — 양면 정답 요구가 사전확률 추측을 무력화(find에서 깨졌던 cosmos .387→.091, molmo2 .319→.050). ② 오라클 .91–.94 vs 최고 메모리 .443(flash-3.7 rf-v2) — 원위치는 관련성을 모르는 초반에 기록돼야 하므로 "무엇을 남길지"가 가장 순수하게 드러나는 쓰기 병목. ③ 매체 선호가 과제 방향에 따라 뒤집힘: find 이미지 1위였던 flash-3.7이 restore에선 텍스트(rf-v2 .443 > vis .396). ④ tagmem(ours) flash급 2위(.431/.365), hidden·multi 공동 1위. ⑤ 8B는 오라클조차 .36–.58.
7/7
G1 통과 (blind ≤ .116)
.94 vs .44
오라클 vs 최고 메모리 (API)
rf-v2 1위
flash-3.7 — find에선 vis 1위
≈$57 + $0
API · 오픈 (메모리 재사용)

17모델 × 7전략 (loc / place)

전략flash-3.6flash-3.7sonnet-5lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.116/0.0220.044/0.0160.016/0.0000.035/0.0030.035/0.0090.091/0.0160.050/0.003
textlog (오라클)0.943/0.7830.940/0.7800.928/0.7800.909/0.7640.418/0.3270.355/0.2890.582/0.506
frames-uniform0.292/0.1260.286/0.1290.135/0.0250.186/0.0570.091/0.0250.116/0.0190.101/0.013
rf-v2 (MEM naive)0.299/0.1450.443/0.2420.208/0.0720.157/0.0410.047/0.0160.085/0.0090.057/0.013
rf-v3 (MEM-style)0.236/0.1040.233/0.0850.173/0.0310.164/0.0280.044/0.0030.079/0.0160.038/0.009
vis-pure (MemER-style)0.384/0.1640.396/0.1790.151/0.0440.160/0.0410.094/0.0220.104/0.0220.079/0.009
tagmem-r3 (ours)0.365/0.1640.431/0.2330.142/0.0500.170/0.0470.041/0.0090.038/0.0160.038/0.000

비오라클 순위: flash-3.6 vis > tagmem > rf-v2 > frames · flash-3.7 rf-v2 .443 > tagmem .431 > vis .396 > frames · sonnet rf-v2 > rf-v3 > vis · luna frames .186 ≈ 전 전략(.16–.19) · 오픈 3종 frames/vis .08–.12 > 텍스트 .04–.09. 기권: API blind .76–.95(양면을 모르면 기권), 오라클 .00–.03. 오류행(오답 처리): flash·luna 0 · sonnet 37 · qwen 183 · molmo2 198 · cosmos 829(37%, vocab·절단).

양면 진단 — now_loc / orig_loc (면별 단독 정답률)

전략flash-3.6flash-3.7sonnet-5lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind.295 / .320.109 / .071.022 / .025.050 / .062.146 / .143.264 / .180.183 / .118
textlog.938 / .963.935 / .950.922 / .953.904 / .950.655 / .488.432 / .435.671 / .699
frames.543 / .429.540 / .450.342 / .332.376 / .432.224 / .267.261 / .255.227 / .314
rf-v2.537 / .438.606 / .534.373 / .348.348 / .280.134 / .140.168 / .180.137 / .099
vis-pure.581 / .565.615 / .562.376 / .245.391 / .385.280 / .211.276 / .196.255 / .255
tagmem.537 / .534.596 / .516.317 / .261.382 / .323.130 / .096.106 / .062.096 / .084

면별로는 vis·rf-v2·tagmem이 비슷(flash-3.7 now .60–.62, orig .52–.56)하지만 동시 정답에서 rf-v2가 앞섬 — 노트는 한 물체의 두 위치를 한 문장 맥락에 남기고, 키프레임은 두 시점을 따로 맞혀야 함. blind는 면별 .1–.3이라도 동시 정답은 ≤.12.

G1 해소 · find에서 사전확률로 chance를 넘던 cosmos(blind .387)·molmo2(.319)가 restore에선 .091·.050 — "국자는 부엌"식 추측은 원위치까지 맞힐 수 없다. 논문에서 find(현위치)·restore(원위치)를 짝으로 보고하면 blind 대조군 논란이 정리됨.
hidden(56)·multi(79) · hidden 1위 flash-3.7 rf-v2 .339/.268 = tagmem .339/.196 · multi 1위 flash-3.6 vis .192 = flash-3.7 rf-v2 .192 = tagmem .192 — tagmem의 hidden/multi 강점은 restore에서도 재현(태그 검색이 초반 사건을 회수).

2Takeaway · Next

  1. 쓰기 병목의 가장 강한 증거: 원위치는 관련성을 모르는 t≈0에 기록돼야 한다. 오라클 .94 vs 최고 .44(find .85 vs .66).
  2. 매체 선호는 과제 방향의 함수: "지금 어디"는 키프레임, "처음 어디"는 누적 노트 — 8장 키프레임이 초반을 밀어내는 최근성 편향과 일관.
  3. 8B는 양면 읽기 자체가 어렵고(오라클 .36–.58) 메모리 전략 ≤ .12; cosmos 오류행 37%는 별도 표기.
  4. 결정 필요: restore 본표도 hidden 제외(266행)로 갈지 — grid_v1final.py restore nohidden으로 즉시 출력 가능.
  5. 인프라: extra 선점 2건·sonnet 샤드 OOM(32G) 1건 — 체크포인트로 손실 0. sonnet 실비는 재개로 과소집계(≈$20 미포함).