Index
2026-09-18 — Progress

find v1.2 아카이브 — 32B 열 디코딩 결함 수정

scene_bench | qwen3vl-32b 재측정 (잡 132433)

TL;DR

132,431자
결함 raw 최대
9,574자
재측정 raw 최대
≤.016
헤드라인 영향
1h32m
재측정 소요

1 배경 / 목적

final_results/find_v1.2_fd856246_PARTIAL/의 qwen3vl-32b 열은 신규 197행이 SBENCH_TEMPERATURE=0·SBENCH_MAX_TOKENS=4096 없이 측정돼 같은 열의 재사용 525행(greedy·4096)과 디코딩이 달랐다(260917 12:45 발견, 답 계약 조사 도중 확인). 논문 본표가 flash-3.7·qwen3vl-32b 2모델이라 이 열이 직접 쓰인다.

2 작업 내용

재측정: bash scripts/run_find_v12.sh qwen3vl32b(태그만 받는 러너 36ad753 — 모델 id·컨텍스트·생성 상한을 내부 표에서 가져오도록 수정). share QOS에서 17분 만에 선점돼 own으로 재제출(잡 132433, 1h32m, 끝낸 19편은 체크포인트로 이어받음). 서버 로그 len=40960 max_tokens=4096 fold=0으로 확인.

tmp/find_v12/build_archive.py의 32B 경로를 q32·a1_q32 → qwen3vl32b·a1_qwen3vl32b로 교체하고 표 재생성, flash 열 불변을 assert로 확인. PROVENANCE 경고 절을 해소 기록으로 교체.

3 결과 (수치)

결함 측정재측정
raw 최대 길이132,431자9,574자
오류 행 (1182행 중)27 (2.3%)14 (1.2%)
32B 전략결함 측정재측정
blind.107.109
textlog.425.425
frames.161.164
rf-v3.065.065
vis-pure.171.175
tagmem.155.153
헤드라인(hidden 제외 place, 649질의) 변화 ≤ .016, 순위 불변(vis-pure > frames > tagmem). cross_multi 칸도 blind .023→.039 외 불변. flash 열은 바이트 동일.

4 Takeaway

의미

디코딩 결함의 집계 영향은 작았지만(≤.016) 한 열 안의 조건 불일치는 제거됐다. 이제 이 디렉토리의 두 열은 논문 2모델 표에 그대로 쓸 수 있다(디렉토리명의 _PARTIAL은 "7모델 중 2모델"이라는 뜻으로 유지).

5 Next Steps

미해결 한계

채점 기준 혼합(영향 ≤2행): 재사용 행은 scene card 방 이름 GT, 신규 행은 러너의 옛 조인 GT. 전 행을 카드 GT로 맞추면 flash textlog +1·vis-pure −1행, 32B blind +2·textlog +1행 변화 — 사용자 지시에 따라 미반영, PROVENANCE에 기록. 근본 해결은 러너가 카드 방 이름을 쓰도록 하는 것(facts.py 미커밋분, 다른 세션 소관).

다음 작업

luna 측정(132216)은 완료됐으나 표에는 미반영(지시 범위 밖). 8B·cosmos·molmo2는 share에서 선점된 뒤 재제출하지 않음. 본표(tier1_subtypes.tex)를 find v1.2(722질의)로 옮길지는 사용자 결정 — 옮기려면 dataset/·models/를 갖춘 완전한 아카이브 생성 필요.