scene_bench — 오픈 3종 결과: 7모델 격자와 G1의 모델 종속성

TL;DR 8B 오픈 3종 공통 패턴: frames(무가공 이미지) > vis-pure > blind > 텍스트 메모리 붕괴(.10–.22) — 노트 형식은 멀쩡하나 커버리지가 낮아 "기록에 없음→기권"(최대 .73). 단 textlog 오라클 target .76–.82로 읽기는 가능 — 쓰기가 병목(스케일 전반 재확인). G1(blind ≤ chance .287)이 cosmos(.387)·molmo2(.319)에서 처음 깨짐: 프레임 누출이 아니라 사전확률 추측 + 무기권(기권 .02–.03 vs API .37–.48). 최고 오픈 비오라클 .393 vs 최고 API .656 (Δ.26).

2/3

G1 깨진 오픈 모델

+0.006

cosmos frames − blind (메모리 이득 ~0)

.76–.82

8B textlog target 오라클 (읽기는 가능)

API 비용 (12.4 GPU·h)

17모델 본표 (loc / place)

전략	flash-3.6	flash-3.7	sonnet-5	luna	qwen3vl-8b	cosmos-r2-8b	molmo2-8b
blind	0.281/0.160	0.242/0.155	0.185/0.111	0.258/0.145	0.284/0.130	0.387/0.132	0.319/0.151
textlog (오라클)	0.483/0.448	0.479/0.441	0.466/0.420	0.490/0.441	0.410/0.384	0.416/0.382	0.458/0.401
frames-uniform	0.567/0.395	0.571/0.420	0.368/0.219	0.405/0.242	0.351/0.187	0.393/0.195	0.365/0.185
rf-v2 (MEM naive)	0.357/0.256	0.462/0.359	0.395/0.267	0.244/0.139	0.120/0.061	0.174/0.101	0.189/0.090
rf-v3 (MEM-style)	0.452/0.336	0.448/0.344	0.397/0.254	0.355/0.231	0.132/0.069	0.216/0.101	0.155/0.067
vis-pure (MemER-style)	0.634/0.485	0.656/0.513	0.382/0.244	0.452/0.290	0.271/0.151	0.363/0.176	0.357/0.181
tagmem-r3 (ours)	0.510/0.385	0.557/0.429	0.309/0.198	0.359/0.221	0.128/0.084	0.187/0.109	0.099/0.069

오픈 3종 순위: qwen frames .351 > blind .284 > vis .271 · cosmos frames .393 > blind .387 > vis .363 · molmo2 frames .365 > vis .357 > blind .319. G1: qwen pass(여유 .003) · cosmos FAIL · molmo2 FAIL. 오류행(오답 처리): qwen 5.7% · cosmos 14.4%(vocab 391·추론 절단 182·빈 선택 22) · molmo2 4.1%.

G1 실패의 실체 — 실물 사례 · "Pick up the ladle" (GT kitchen / dining table)
cosmos blind: "The ladle is not visible in the current view, but based on the memory of the episode, it was on the countertop." → kitchen/countertop 선택 → loc 1 / place 0 (같은 행에서 flash blind는 기권).
스스로 "안 보인다"면서 카테고리→방 사전확률로 찍는 것 — 이런 행이 102개(cosmos blind 맞음 ∧ flash blind 기권/오답). 프레임 누출이 아니라 informed prior + 무기권이며 place는 .132로 낮음. → 논문에는 "메모리 이득 = 자기 blind 대비"를 병기(cosmos는 frames−blind +0.006으로 이득 ~0).

2Takeaway

쓰기 병목의 극단화: 8B는 텍스트 메모리를 만들수록 나빠짐(blind 이하). 오라클 로그는 .76–.82로 읽음 — 격차는 온전히 "무엇을 남기는가".
G1은 모델 종속: 균등 추측 방어일 뿐, 무기권+사전확률 모델은 넘는다. blind를 모델별 대조군으로 병기해야 함.
로봇 특화(cosmos·molmo2)는 blind/frames(그라운딩)에서만 강하고 메모리 전략에선 동반 붕괴 — tagmem(ours)은 다단 파이프라인이라 8B 약점이 곱해져 최하위 ↔ flash-3.7에선 2위. "전략은 모델 능력을 전제로 한다."
규모 격차 Δ.26 (오픈 최고 .393 vs API 최고 .656).

3Next

chance 재산출: e987b40f open 기준 + informed-prior 상한(카테고리→방 argmax) → G1 각주 강화.
본표 원천 = python tmp/hf_check/grid_v1final.py delta nohidden (7모델). 병합 tmp/v1open_*_merged.json.
오픈 모델 vis-pure 보관 프레임 최근성 분석(meta.n_steps 기준) 후속.

오픈소스 3종 전량 결과 — 7모델 격자, G1의 모델 종속성

17모델 본표 (loc / place)

2Takeaway

3Next