260901(open_vlm_3model_grid)·260902(restore_task_7model_grid) 카드에서 오픈소스 8B 모델(qwen3vl-8b/cosmos-r2-8b/molmo2-8b)이 API 모델 대비 현저히 낮은 성능(최고 오픈 .393 vs 최고 API .656)을 보였고, G1(blind ≤ chance) 게이트가 cosmos·molmo2에서 깨지는 현상이 확인됐다. 이 저조함이 평가 하네스(파이프라인) 결함인지 모델 자체의 명령 수행 실패인지 구분되지 않은 상태였다 — 260903에 근본 원인을 재점검했다.
cosmos 오류행을 직접 열어 내용을 분류했다: vocab 위반(목록 밖 용어 사용 — 예: table/dining room/couch 등 시스템 프롬프트의 전역 vocab(objects 61/surfaces 16+floor/rooms 4)에 없는 단어를 답으로 제시) + greedy 반복 루프(3%, 같은 토큰 시퀀스를 무한 반복). <think> 태그 노출 0건, 이미지 입력·메모리 재사용·파서 자체는 정상 동작 확인.
이어서 파싱 성공 행만 필터링해서 cosmos vs qwen을 재비교했다 — 채점 규칙(형식 실패 = 오답)은 그대로 두고, "형식만 통과했다면 실제 내용 정확도는 어느 쪽이 높은가"를 별도로 확인하기 위함.
서빙 조건도 재확인: 우리는 greedy decoding을 사용 중이며, 각 모델 카드의 기본 설정은 temp 0.7/top_p 0.8/top_k 20으로 다르다 — 재측정(seed 고정 샘플링, API $0·≈15 GPU·h 추정) 여부는 사용자 결정 대기.
로그 원본(scene_bench repo): claude/260903/analysis-cosmos_underperformance.md. 채점 스크립트: grid_v1final.py 계열(형식 실패율 집계 추가).
| 모델 | find 오류율 | restore 오류율 | 주요 원인 |
|---|---|---|---|
| qwen3vl-8b | 5.7% | — | — |
| cosmos-r2-8b | 14.4% | 37% | vocab 위반 + greedy 반복 루프(3%) |
| molmo2-8b | 4.1% | — | — |
| 전략 | cosmos | qwen |
|---|---|---|
| blind | 0.406 | 0.304 |
| frames-uniform | 0.450 | 0.381 |
| vis-pure | 0.409 | 0.313 |
| tagmem-r3 | 0.262 | 0.143 |
오픈소스 결과를 논문에 실을 때 loc/place 평균만 병기하면 "오픈 모델은 성능이 낮다"는 오해를 준다. 실제로는 "형식(vocab)을 못 지킨다"에 더 가깝다 — 채점 규칙(형식 실패=오답)은 벤치 설계상 유지해야 하지만, 원인을 정확히 서술해야 로버스트니스 결론이 왜곡되지 않는다. 형식 실패율 열을 별도로 노출하고 파싱 성공 행 기준 정확도를 함께 제시하는 것이 공정한 서술 방향.
greedy와 각 모델 카드 기본 샘플링(temp 0.7/top_p 0.8/top_k 20)의 차이가 오류율에 얼마나 영향을 주는지 아직 검증되지 않았다.
seed 고정 샘플링으로 재측정할지 사용자 결정 필요(비용 $0, GPU ≈15시간 추정). 논문 본문에 형식 실패율 열(qwen 5.7 · cosmos 14.4/37 · molmo2 4.1%) + 파싱 성공 행 기준 정확도를 병기할지 결정하고, §5/§6 어디에 배치할지 260901 카드의 로버스트니스 subsection 배치 논의와 함께 정리.