scene_bench — 논문 팀 핸드오프 (v1 final 평가)

TL;DR

데이터 sha 3종: 582e691d v0.7 = dev 전용(표 제거) · 87220689 v1 final 8/26 = 현재 측정 기준(545행) · e987b40f 8/28 = 편 5삭제·5신규·10재시뮬, 589행, 미라벨 0 → 캠페인 완주 후 델타만 재측정(≈$33)해 교체.
프로토콜 확정: 질의 턴 = 마지막 프레임 1장 + 질의문 · cap 8 단일 상한(frames/vis kept/tagmem 저장·읽기) · 공통 writer 전문 · 30 s 청크 × 4프레임 · 읽기 = 저장 메모리만 · chance loc 0.287.
메서드 표기: rf-v3 = MEM-style language memory (prompted, task-agnostic, text-only read; 2603.03596) · vis-pure = MemER-style keyframe memory (prompted, task-agnostic, +drop; 2510.20328, cap 8 = |K_t|≤8) · rf-v2 = naive concatenation ablation · textlog = annotation-derived target oracle.
무효(인용 금지): 8/26 flash 표의 vis-pure 0.701 · tagmem 0.618 · rf-v2 0.235 (cap16/img6/구 프롬프트·세그먼트 청킹). cap 8 값은 8/29~30 측정.

1 결과 격자 (87220689, 545행/100편, cap 8, loc / place) — 인용 가능

전략	flash	sonnet	flash target	sonnet target	flash distr	sonnet distr	flash hidden	sonnet hidden
blind	0.255/0.149	0.183/0.117	0.212/0.122	0.227/0.145	0.293/0.172	0.145/0.093	0.140/0.023	0.070/0.023
textlog (target oracle)	0.521/0.479	0.494/0.453	0.914/0.855	0.906/0.843	0.176/0.148	0.131/0.110	0.814/0.698	0.837/0.721
frames-uniform (8)	0.536/0.372	0.372/0.229	0.494/0.306	0.322/0.173	0.572/0.431	0.417/0.279	0.465/0.186	0.326/0.116
rf-v2 naive	0.350/0.250	0.393/0.257	0.478/0.341	0.376/0.212	0.238/0.169	0.407/0.297	0.419/0.279	0.465/0.256
rf-v3 MEM-style	0.431/0.325	0.393/0.251	0.427/0.306	0.373/0.216	0.434/0.341	0.410/0.283	0.512/0.419	0.349/0.186
vis-pure (cap 8)	0.626/0.462	측정 예정(98823)	0.537/0.388		0.703/0.528		0.605/0.326
tagmem-r3 (cap 8, ours)	0.521/0.396	0.305/0.194	0.588/0.427	0.349/0.196	0.462/0.369	0.266/0.193	0.628/0.512	0.209/0.070

발견: ① G1 통과 ② 매체 선호 모델 종속(flash 이미지>텍스트, sonnet 텍스트>이미지) ③ 재작성 vs 누적은 writer 품질에 조건부(flash +0.08, sonnet 동률; target은 누적 우위) ④ textlog target 오라클 0.91 → 격차는 쓰기에서 ⑤ hidden은 "어느 가구에 넣었나" 텍스트 기록이 관건 ⑥ multi 전 전략 붕괴.

2 데이터 버전 · 델타 이전

sha	내용	상태
`582e691d`	v0.7 val 153편/759질의	dev 전용 — S3 n=353·online n=353·cap16→8 표 전부 제거
`87220689`	v1 final 100편/584행 → 평가 545행	현재 캠페인 기준
`e987b40f`	편 5삭제·5신규·10재시뮬 · 589행 · 미라벨 0 · 질의문 재작성 8 · query_id 재배정 16	업로드 5/6 진행 중 → 완료 후 델타: 15편 재측정 + 재질의 9행 + 30행 재채점(≈$33). 도구 `sbench_eval/delta.py`((편,질의문) 매칭), `--memory-from`

운영: Letsur 게이트웨이 $100/일 하드 리밋(429, 취소분 포함). 하루 계획 ≤$80. 남은 잡 4개(8/28~29 21:00 UTC).

3 논문 반영 체크리스트

☐ §3 데이터 통계 e987b40f(589행) 기준·sha 명시, v0.7 표 제거 ☐ §4 cap 8 공통·공통 writer 전문·30 s 청크·질의 턴 1프레임·chance·G1·가정(세그먼트 미사용/온도/시드/tagmem 태거) ☐ §5 격자 + vis/tagmem cap 8 + 델타 후 값, hidden/multi 층 표 ☐ 메서드 표기·인용(MEM/MemER) + rf-v2/rf-v3 = naive vs MEM-style ablation ☐ PH-1 API 격자: gpt-5.6 계열 게이트웨이에 있음(5.6 $5/$30 · terra $2/$12 · luna $0.20/$1.20); 이미지 입력 OK = gemini-3.7-flash·gpt-5.6/luna/terra·gpt-5.4-mini/nano·claude-haiku-4.5·grok-4.3, 빈 응답 = gemini-3.5-flash·qwen3.7-plus·deepseek-v4-flash ☐ 부록: writer 프롬프트 원문·채점 계약·델타 절차

논문 팀 핸드오프 — v1 final 평가 프로토콜·결과·데이터 버전

TL;DR

1 결과 격자 (87220689, 545행/100편, cap 8, loc / place) — 인용 가능

2 데이터 버전 · 델타 이전

3 논문 반영 체크리스트