기존 4모델 격자(flash-3.6/3.7, sonnet-5, gpt-5.6-luna, 모델 grid 카드 참조)는 전부 상용 API 모델이다. 논문 리뷰 단계에서 "결과가 상용 모델에만 국한된 것 아닌가"라는 질문이 나올 가능성이 커, 오픈소스 8B급 모델에서도 동일한 결론(메모리 이득, 매체 선호, MemER-style 모델 종속성 등)이 재현되는지 확인이 필요했다.
qwen3vl-8b, cosmos-r2-8b, molmo2-8b 3종을 자체 GPU 서빙(greedy decoding, API가 아닌 로컬 인퍼런스)으로 e987b40f·hidden 제외(open) 데이터셋에 대해 기존과 동일한 7전략(blind/textlog/frames-uniform/rf-v2/rf-v3/vis-pure/tagmem-r3) 전량 평가했다. 서빙 구성·프롬프트 형식 수용(포맷 호환만 조정, 답 계약 v3는 API 모델과 동일)은 별도 문서화, 논문 표 원천은 기존과 동일한 grid_v1final.py delta nohidden에 3모델 컬럼을 추가하는 방식.
| 전략 | qwen3vl-8b | cosmos-r2-8b | molmo2-8b |
|---|---|---|---|
| blind | 0.284/0.130 (기권 .17) | 0.387/0.132 (기권 .02) | 0.319/0.151 (기권 .03) |
| textlog (오라클) | 0.410/0.384 | 0.416/0.382 | 0.458/0.401 |
| frames-uniform | 0.351/0.187 | 0.393/0.195 | 0.365/0.185 |
| rf-v2 (naive) | 0.120/0.061 | 0.174/0.101 | 0.189/0.090 |
| rf-v3 (MEM-style) | 0.132/0.069 | 0.216/0.101 | 0.155/0.067 |
| vis-pure (MemER-style) | 0.271/0.151 | 0.363/0.176 | 0.357/0.181 |
| tagmem-r3 (ours) | 0.128/0.084 | 0.187/0.109 | 0.099/0.069 (기권 .73) |
4모델 API 격자에서 관찰한 핵심 패턴(텍스트 메모리 쓰기 병목, blind가 chance 근처)이 스케일이 전혀 다른 8B 오픈소스 모델에서도 방향성 있게 재현됐다는 점이 결론의 일반화 가능성을 뒷받침한다. 다만 G1(blind≤chance)이 모델 종속적으로 깨진다는 점은 "메모리 이득"을 절대 점수가 아니라 자기 blind 대비 상대 이득으로 보고해야 함을 시사한다 — 특히 사전확률 추측이 강하고 기권을 거의 안 하는 모델(cosmos, molmo2)에서는 절대 점수가 우연 적중으로 부풀려질 수 있다.
G1 실패 모델(cosmos, molmo2)을 논문 본표에 그대로 넣을지, 별도 각주/부록으로 뺄지 미정. "자기 blind 대비 메모리 이득" 지표를 공식 지표로 도입할지 결정 필요.
오픈소스 파트를 §5 본문(로버스트니스 subsection)과 §6 Analysis 중 어디에 배치할지 결정. 서빙 GPU 비용(12.4 GPU·h)을 API 비용($0)과 나란히 비교하는 비용 섹션 문구 추가. G1 실패 원인(사전확률 추측) 설명을 hidden 제외 결정 카드의 chance 정의와 함께 §4 프로토콜에 명시할지 검토.