← 목록

restore 패밀리 7모델 격자 — 양면(현위치∧원위치) 채점

2026-09-02 · bcaf2815 · 322행/100편 · 본표 = hidden 제외 266행 · 메모리 재사용(ingest 0콜) · API $85.23 · 오픈 $0
"Pick up the X and place it where it first was" — 물체의 지금 위치와 처음 위치를 둘 다 맞혀야 정답
TL;DR ① blind 전 모델 붕괴(.02–.13): 양면 동시 정답이라 사전확률 추측이 무력 → find에서 깨졌던 G1이 restore에선 설계상 성립. ② 오라클 로그를 읽으면 API 4모델 .92–.94(거의 만점) vs 최고 비오라클 flash-3.7 rf-v2 .466 → 격차 ≈0.47이 전부 "무엇을 남기는가"(쓰기 병목) — find보다 훨씬 선명. ③ 과제 방향이 매체 선호를 바꿈: vis-pure는 find .656→restore .420, 텍스트 rf-v2는 .462→.466 유지. tagmem(ours)은 두 flash에서 2위, place는 flash-3.7 1위(.240). ④ 8B 오픈은 오라클 읽기조차 .36–.60.
.943
textlog 오라클 (flash-3.6)
.466
최고 비오라클 (flash-3.7 rf-v2)
≈.47
오라클↔최고 격차 = 쓰기 병목
7/7
blind ≪ chance (G1)
$85.23
API 실비 (추정 $64, +33%)

1본표 — hidden 제외 266행, 양면 loc / place

전략flash-3.6flash-3.7sonnet-5lunaqwen3vl-8bcosmos-r2-8bmolmo2-8b
blind0.130/0.0270.053/0.0190.019/0.0000.038/0.0040.042/0.0110.103/0.0190.057/0.004
textlog (오라클)0.943/0.7980.939/0.7940.924/0.7940.916/0.7750.397/0.3090.359/0.2980.603/0.527
frames-uniform0.317/0.1370.317/0.1490.149/0.0270.218/0.0650.103/0.0310.126/0.0230.103/0.011
rf-v2 (MEM naive)0.324/0.1600.466/0.2370.221/0.0690.179/0.0460.057/0.0190.099/0.0110.069/0.015
rf-v3 (MEM-style)0.237/0.1070.252/0.0990.195/0.0380.164/0.0310.053/0.0040.092/0.0190.046/0.011
vis-pure (MemER-style)0.420/0.1830.420/0.1980.168/0.0530.187/0.0500.107/0.0270.107/0.0270.088/0.011
tagmem-r3 (ours)0.393/0.1720.450/0.2400.164/0.0610.191/0.0570.050/0.0110.046/0.0190.046/0.000

비오라클 순위: flash-3.6 vis .420 > tagmem .393 > rf-v2 .324 · flash-3.7 rf-v2 .466 > tagmem .450 > vis .420 · sonnet rf-v2 .221 > rf-v3 .195 · luna frames .218 > tagmem .191 · 오픈 3종 ≤ .126(≈blind). 면별(flash-3.7, now/orig): textlog .932/.947 · rf-v2 .650/.534 · vis .665/.556 · frames .598/.459 — 원위치 면이 더 어렵다(오라클만 orig ≥ now). 포함판(322행)은 순위 동일·수치 −.02~.03.

2Takeaway

  1. G1 자연 해소 — 양면 요구가 사전확률 추측을 무력화(cosmos blind find .387 → restore .103, API는 대부분 기권 .23–.95).
  2. 쓰기 병목 확정 — 읽기(오라클)는 .92–.94로 해결된 문제, 남은 격차 .47은 온전히 메모리 작성 품질. find(오라클 .48)보다 논거가 강함.
  3. 매체 선호는 과제 방향 종속 — "처음 위치"는 시간 순서가 명시된 텍스트가 유리, 8장 키프레임 예산은 초반 배치 장면을 놓침. tagmem은 태그+시각 엔트리 검색으로 첫 배치를 회수 → 두 flash 2위.
  4. 8B 오픈: 양면 JSON 준수·추론 절단으로 오라클도 .36–.60, 비오라클은 blind 수준 — 규모 격차 Δ.34.
  5. 운영: 메모리 재사용으로 쓰기 0콜, 선점 3회·503 1회·중복 제출 1회 모두 체크포인트로 무손실. 실비는 추정 +33%(양면 출력 길이) — 카나리아 실비×행수로 재추정할 것.

3Next