TL;DR 사용자 승인("오늘 $35 더")으로 8/31 예약분을 8/29 09:46 UTC로 당겨 실행. sonnet vis-pure =
loc 0.380 / place 0.248(기권 .11, $27.17).
flash 동일 전략 0.626 대비
−0.246. 같은 545행에서 flash만 맞음 178 · sonnet만 44. sonnet이 남긴 8프레임은 에피소드 후반에 몰림
(정규화 시점 평균 0.81, 전반부 3.4%) vs flash 균등(0.51, 49.6%) → 초반 목격 물체의 원위치를 잃음(545/545 행에서 최초 목격 장면이 메모리 밖).
0.81
sonnet 보관 프레임 시점(정규화 평균)
$27.17
실비 (추정 $27) · 버킷 누계 $92.9
1배경/목적
v1 final 격자에서 sonnet 열의 마지막 빈칸이 rollforward-vis-pure(MemER-style, cap 8). flash에서는 비오라클 1위(0.626)였다.
질문: sonnet에서도 1위인가, 아니면 8/28 결론(매체 선호가 모델 종속 — flash 이미지>텍스트, sonnet 텍스트>이미지)이 vis에서도 유지되는가.
예산: KST 8/29 버킷 실비 $65.7(8/28 밤 flash vis8 28.73 + sonnet tagmem 20.44 + flash tagmem 16.51) + 예상 $27 = $93 < $100 하드 리밋.
scontrol update JobID=98823 StartTime=now로 당김(BeginTime= 갱신은 미지원).
2작업 내용
bash scripts/run_v1_final_shards.sh claude-sonnet-5 v1final_sonnet_p2b 4 8 rollforward-vis-pure
# n40, 4샤드×25편, 09:46→11:26 UTC (1h40m). 프로토콜 flash와 동일: 공통 writer 전문 v1 · 30 s 청크×4프레임 · KEEP/DROP 예산 8 · 읽기 = 보관 8프레임 + 최종 exo 프레임 + 질의
python tmp/hf_check/merge_v1final_v2.py tmp/v1final_sonnet_merged_v2.json p1:blind,textlog,frames-uniform,rollforward-v2,rollforward-v3 p2a:tagmem-r3 p2b:rollforward-vis-pure # 3815행
진단: 동일 (편, 질의)에서 flash vis8(98778)과 행 단위 교차, 보관 프레임 집합 비교(Jaccard·정규화 시점 분포), 질의별 최초 목격 시점(min_seen_s) vs 가장 이른 보관 프레임(25 fps).
3결과
sonnet 7전략 최종 (loc / place)
| 전략 | sonnet loc/place | 기권 | flash loc/place | Δ loc (sonnet−flash) |
|---|
| blind | 0.183 / 0.117 | .48 | 0.255 / 0.149 | −0.072 |
| textlog (오라클) | 0.494 / 0.453 | .42 | 0.521 / 0.479 | −0.027 |
| frames-uniform | 0.372 / 0.229 | .11 | 0.536 / 0.372 | −0.164 |
| rollforward-v2 (MEM baseline) | 0.393 / 0.257 | .30 | 0.350 / 0.250 | +0.043 |
| rollforward-v3 (MEM-style) | 0.393 / 0.251 | .29 | 0.431 / 0.325 | −0.038 |
| rollforward-vis-pure (MemER-style, cap 8) | 0.380 / 0.248 | .11 | 0.626 / 0.462 | −0.246 |
| tagmem-r3 (ours, cap 8) | 0.305 / 0.194 | .32 | 0.521 / 0.396 | −0.216 |
sonnet vis-pure 세부: target 0.349/0.220 · distractor 0.407/0.272 · hidden(43) 0.209/0.093 · multi(43) 0.000. 파스실패 0 · 429 없음 · n_kept 8/8 전 편.
같은 545행 교차 (vis-pure)
| flash 맞음 | flash 틀림 |
|---|
| sonnet 맞음 | 163 | 44 |
| sonnet 틀림 | 178 | 160 |
보관 프레임(8장) 시점 분포 — 100편
| 모델 | 정규화 시점 평균 | 중앙값 | 전반부(<0.5) 비율 | 가장 이른 보관 프레임 평균 위치 | 최초 목격 장면이 메모리 밖인 행 |
|---|
| sonnet | 0.812 | 0.83 | 3.4 % | 0.625 | 545/545 (100 %) |
| flash | 0.510 | 0.50 | 49.6 % | 0.068 | 286/545 (52 %; 창 밖 loc .605 vs 창 안 .649) |
두 모델 보관 집합 Jaccard 0.155 — 같은 프롬프트·같은 예산인데 남기는 프레임이 거의 다르다.
실패 사례 (원문) — train_1362__0, 에피소드 464 s, 물체 최초 목격 ≈20–25 s
Q "Pick up the cell phone" GT bedroom / tv stand (hidden). sonnet 보관 [5249…11249] = 210–450 s.
sonnet: "In the later frames the robot is working near a black tv stand in the living room, where a small reddish rectangular object (the cell phone) is visible lying on the stand…" → loc 0
flash: "The cell phone is seen on the black desk in the bedroom throughout the episode (visible at t=20.0s, t=90.0s, and t=140.0s) and was not moved." → loc 1
Q "Pick up the watch" GT bedroom / tv stand. sonnet: "In the final frames (t=450-460s) I see a small tan/orange object resting on the black tv stand next to the potted plant…" → 0 · flash: "resting on the white round side table next to the black desk in the bedroom at t=20.0s and t=90.0s" → 1
원인: sonnet 메모리에 초반 프레임이 없어 최근 장면의 다른 물체를 해당 물체로 오인. 교훈: KEEP/DROP 프롬프트가 같아도 sonnet은 "새 정보 우선"으로 옛 프레임을 축출 → 메모리가 최근 ~40 % 슬라이딩 윈도우로 퇴화.
sonnet만 맞은 예 — train_2850__2 "Pick up the mug I moved earlier" (GT kitchen). sonnet: "seen on the dining table at t=330s, then… placed on the kitchen countertop by t=360-380s" → loc 1(surface 오답) · flash: "moved the mug on the white table in the bedroom" → 0. 후반에 이동한 물체는 최근성 편향이 오히려 유리.
4Takeaway
- MemER-style(vis-pure)은 7전략 중 모델 종속이 가장 큰 전략: flash 1위(0.626) ↔ sonnet 3위(0.380). 텍스트 전략(rf-v2/v3)은 두 모델 차 ±0.04. 8/28 결론(매체 선호 모델 종속) 유지·강화.
- 격차의 원인은 읽기가 아니라 쓰기 단계의 프레임 선택 정책: 동일 프롬프트·예산에서 sonnet은 최근 프레임, flash는 균등 분포를 남김. "무엇을 남길지"가 프롬프트만으로 통제되지 않는다 — MemER(fine-tuned 선택기)와 프롬프트 적응의 차이.
- 채점·프로토콜 변경 없음(평가지 튜닝 금지 원칙) — 기록만. flash·sonnet 7전략 격자 완성.
- 예산: KST 8/29 누계 $92.9(추정 오차 +0.6 %). 21:00 UTC flash-3.7 + luna $73은 KST 8/30 버킷.
5Next
- sonnet vis-pure hidden 0.209/0.093 · multi 0 — 초반 목격 정보 상실이 hidden에 특히 치명적. 논문 표 각주: 보관 프레임 시점 분포(0.81 vs 0.51).
- 8/29 21:00 UTC: 99947 gemini-3.7-flash(7전략 ≈$67) · 99945 gpt-5.6-luna(≈$6) → 4모델 격자. 같은 보관-시점 진단을 적용해 최근성 편향이 sonnet 고유인지 확인.
- 릴리즈 델타(e987b40f): 허브 6/6 확인 후 15편 × 4모델(≈$33/모델) → 8/31 버킷.
- 파일:
tmp/v1final_sonnet_p2b_s?/results.json · 병합 tmp/v1final_sonnet_merged_v2.json · 로그 claude/260829/exp-v1final_sonnet_vis.md · 핸드오프 표 갱신(scene_bench + scene_bench_paper 사본).