TL;DR 하네스 결함 없음(이미지·메모리 재사용·파서·채점 정상,
<think> 0건). 저조의 실체는 ①
제공된 어휘 목록 불이행(‘table’, ‘dining room’, ‘couch’… 전부 GT/목록 밖, 재시도 후에도 실패) ②
greedy 반복 루프 3%(서빙 선택; 모델 카드 기본은 temp 0.7/top_p 0.8) ③ writer가 방 이름을 안 남겨 텍스트 메모리 기권 .52.
파싱 성공 행만 보면 cosmos가 qwen을 전 전략에서 앞섬 — 표는 형식 실패율을 반영한 값.
14% · 37%
오류행 find · restore (qwen 5.7 · 8.1%)
391 · 473
vocab 위반 (오류의 66% · 57%)
.450 vs .381
frames loc, 파싱행만 (cosmos vs qwen)
1오류 유형과 raw 해부
| rows | err | vocab | JSON 절단 | 빈 선택 | raw 중앙값 | max | 미종결 | 반복 루프 |
|---|
| cosmos find | 4123 | 595 | 391 | 182 | 22 | 479자 | 89,056자 | 182 | 133 |
| qwen find | 4123 | 236 | 99 | 133 | 4 | 357자 | 20,552자 | 134 | 122 |
| cosmos restore | 2254 | 829 | 473 | 298 | 57 | 595자 | 95,186자 | 156 | 92 |
| qwen restore | 2254 | 183 | 130 | 52 | 1 | 457자 | 22,007자 | 51 | 45 |
vocab 위반 값(find 상위): surface ‘table’ 138 · room ‘dining room’ 81 · room에 ‘dining table’ 19 · ‘cabinet’ 17 · ‘couch’ 13 · ‘wooden table’ 10 · ‘side table’ 9. GT 어휘는 방 4종(bathroom/bedroom/kitchen/living room)·표면 18종(sofa, dining table, coffee table…) — 위반 값은 전부 목록 밖. qwen도 같은 값이지만 4× 적음 → 목록 준수 능력 차이(전 모델 동일 규칙).
2파싱 성공·공통 행만 비교 (hidden 제외, loc)
| 전략 | n | cosmos | qwen | cosmos 기권 |
|---|
| blind | 471 | .406 | .304 | .02 |
| textlog | 482 | .448 | .421 | .38 |
| frames-uniform | 433 | .450 | .381 | .02 |
| rf-v2 | 395 | .220 | .132 | .52 |
| rf-v3 | 436 | .234 | .131 | .39 |
| vis-pure | 418 | .409 | .313 | .07 |
| tagmem | 363 | .262 | .143 | .34 |
writer: cosmos rf-v2 노트 중앙값 1926자(qwen 1614)지만 “placed the white mug on the round white table, which is located in the room”처럼 방 이름 누락·중복, tagmem 엔트리 8(qwen 10)이고 이미지 엔트리가 장면 묘사(‘robot arm’, ‘wooden table’) 위주 → 읽기에서 “기록에 방 없음→기권”.
3서빙 설정 대조 · 결론
- 모델 카드:
do_sample=True, temperature 0.7, top_p 0.8, top_k 20, max_tokens ≥4096 권장(우리 16384), <think> 형식은 system 프롬프트로 켤 때만(우리 미사용 → 직답 모드). 우리는 greedy — 샘플링 튜닝 모델에 greedy를 걸면 반복 루프가 생기기 쉬움(qwen도 122건).
- 하네스 결함 없음. 표의 cosmos 값은 “형식 실패 = 오답” 규칙(전 모델 동일)의 결과이며 실력을 과소표현 → 논문에 형식 실패율 열 + 파싱행 정확도 병기 권장(채점 불변).
- 선택지: 오픈 3종을 모델 카드 샘플링 + 고정 seed로 find·restore 재측정(≈15 GPU·h, $0) → greedy 아티팩트 제거. 사용자 결정.