← 목록으로

부록 자기 쓰기(writer = reader) 표 — 5모델 × 4가족 정리

2026-09-23 · scene_bench · progress
closed = Flash · GPT-5.6 Luna / open = Gemma 4-31B · Qwen3.8-27B · Molmo2-8B
TL;DR 부록 표 생성기를 논문 저장소에 만들었고(본표와 같은 채점·부류·R2 규칙, flash 셀 불일치 0), 원천 커버리지와 남은 실행을 final_results/appendix_selfwriter_STATUS.md에 정리했다. Luna find v1.2는 채웠고(A1 $0.34, Finding Avg tagmem 18.5 vs flash 46.6), 남은 빈칸은 GPU가 필요한 4칸(오픈 3모델 resume + Molmo2 find)이라 사용자 지시대로 나중에.
16/20
모델×가족 칸 채워짐
0
flash 셀 본표 불일치
4
GPU 필요 빈칸
≈$1
Luna find 채우기(진행 중)

1 커버리지 (현재 프로토콜, 6전략 전부)

모델Finding v1.2 (722)Restore v1.1 (575)Resume 새 조건 (161)Routine v1.2 (314)
Gemini 3.7 Flash✓✓✓✓
GPT-5.6 Luna✓✓✓ (오늘, $10.7)✓
Gemma 4-31B✓✓GPU✓
Qwen3.8-27B✓✓GPU✓
Molmo2-8BGPU✓GPU✓

2 생성기와 검증

~/repos/Robotics/scene_bench_paper/scripts/build_selfwriter_table.py → tables/selfwriter.{tex,json} - build_subtype_table.py 의 subtype·STRATEGIES·CELLS·렌더 함수를 import; 가족→보관소 dir 동일, Resume 만 resume_v2_wristrooms_61871a3e - 원천은 final_results/<가족>/models/<모델>/merged.json 뿐; 없는 모델은 --- 행 - naming_lenient.py: flash 전용 분기 → 'baseline_sources' 없는 보관 병합 모델 분기로 일반화(교차 reader 만 baseline_sources 보유) - 검증: flash 4가족×6전략×5셀 = 커밋된 tier1_subtypes.json 과 불일치 0
기존 문제 발견: 원본 본표 생성기 build_subtype_table.py가 현재 원천으로는 재현되지 않는다 — Finding flash blind D2가 tmp 스티칭(38/229)과 보관 병합본·커밋 표(39/229)에서 1행 다르다(tmp/find_final_flash37_merged.json이 표 생성 뒤 바뀜). 내 변경과 무관하며 별도 확인 필요.

3 남은 실행 (GPU 여유 후, own QOS)

bash tmp/rfv3append/submit_wr_open_self.sh gemma4 own # resume 새 조건 자기 쓰기 bash tmp/rfv3append/submit_wr_open_self.sh qwen38 own bash tmp/rfv3append/submit_wr_open_self.sh molmo2 own # 36,864 한도 초과 행은 실패 답으로 기록 sbm "bash scripts/run_find_v12.sh molmo2" --gres=gpu:1 -c 8 --mem 200G --time 6:00:00 --qos=own -J find12_molmo2 --container=docker.io/vllm/vllm-openai:v0.28.0-cu129 # 각각 병합(merge_wr_self.py / build_merged4.py) → archive → build_selfwriter_table.py
프로토콜 각주: Restore tagmem writer 판이 flash·32B·Gemma4·Qwen3.8 = v11, Luna·Molmo2 = v5(읽기 v8 공통). 통일하려면 Luna(API 소액)·Molmo2(GPU) 재-ingest. Luna resume 이미지 전략은 blind 수준(writer 요약 부정확) 각주.