TL;DR 워커 pod는 외부 접속이 막혀 있어
같은 sbatch 안에서 vLLM 서버 + 기존 평가 하네스(localhost)로 구성. Gemini Robotics-ER은 클로즈드(1.5 셧다운, 1.6-preview API 전용)라 Cosmos-Reason2로 대체.
1편짜리 카나리아 게이트가
사고 6건을 전량 실행 전에 차단 — 특히 max_tokens 미지정 시 8B writer가 컨텍스트 한도까지 생성 폭주(노트 40K 토큰→읽기 400), 온도 변동으로 KEEP 형식 준수가 런마다 뒤집히는 문제(→ greedy 고정).
3 × 7 × 589
추가 측정 (모델×전략×행)
1구성
# scripts/serve_eval_vllm.sh — 컨테이너 vllm/vllm-openai:v0.28.0-cu129 고정
vllm serve $MODEL --max-model-len $LEN --limit-mm-per-prompt '{"image":24}' [모델별 플래그] &
(health 폴링) → OPENAI_BASE_URL=http://127.0.0.1:8000/v1 run_eval_v1 4샤드 (cap 8·공통 전문·30s 청크·e987b40f 100편)
| 모델 | 라이선스 | max_tokens | ctx | 형식 수용 |
|---|
| Qwen/Qwen3-VL-8B-Instruct | Apache 2.0 | 4096 | 65536 | — |
| nvidia/Cosmos-Reason2-8B | NVIDIA Open (gated, Keh0t0 동의) | 16384 (추론 장문) | 65536 | HF_HUB_OFFLINE 캐시 |
| allenai/Molmo2-8B | Apache 2.0 | 4096 | 32768 (상한 36864) | system→첫 user 접기 · 연속 user 병합 · trust-remote-code |
공통: greedy(temp 0) — 클라이언트에 env 옵션 4종 추가(SBENCH_MAX_TOKENS / SBENCH_NO_SYSTEM / SBENCH_MERGE_USER_TURNS / SBENCH_TEMPERATURE), API 경로는 불변. 수용은 전부 형식 호환이고 내용·예산·프롬프트는 7모델 동일.
2카나리아가 잡은 사고 6건
| # | 증상 | 원인 | 수정 |
|---|
| 1 | 읽기 400 "Input 41006 > 40960" (qwen·cosmos) | max_tokens 미지정 → writer가 컨텍스트 한도까지 생성(24콜 ~48만 토큰) → rf 노트 40K 토큰 | SBENCH_MAX_TOKENS (수정 후 노트 2.4k자) |
| 2 | Molmo2 "roles must alternate" 400 | 템플릿이 system 롤 미지원 | system을 첫 user에 접기 |
| 3 | Molmo2 max_model_len 거부 | 모델 상한 36864 | 32768 |
| 4 | Molmo2 MM 토큰 예산 초과 | max_tokens_per_mm_item 31872 > 배치 예산 | --max-num-batched-tokens 32768 |
| 5 | 샤드 죽어도 잡이 --time까지 hang | 스크립트 wait가 vLLM 서버 PID까지 대기 | 샤드 PID만 wait |
| 6 | molmo2 vis writer n_kept 0/24 ↔ 동일 입력 프로브 8/8 | 기본 온도의 샘플링 분산으로 형식 준수가 런마다 뒤집힘 | 오픈 3종 greedy 고정 (파서는 공통 유지) |
카나리아 최종: qwen 42행 오류 0 · cosmos 오류 5(추론 절단 3 → 16384로 완화, vocab 위반 1, JSON 1) · molmo2 오류 4(전부 vocab 위반 = 모델 실수, 정상 채점). 1편 ≈ 4–8분.
3Next
- 실행 중: 104828 qwen 전량(~3 h) · 104829 cosmos 전량(~6–9 h) · 104830 molmo2 카나리아(temp 0, n_kept 확인 후 전량).
- 완료 시 병합 →
grid_v1final.py(delta nohidden 본표)에 오픈 3종 추가 → 7모델 격자.
- molmo2 greedy에서도 n_kept=0이면 "greedy가 비준수 모드로 수렴" = 모델 행동으로 기록.