TL;DR 사용자 지시로 21:00 UTC 예약을 KST 8/30 00:55로 당겨 실행(429 없음).
G1(blind ≤ 0.287)·textlog target ≈0.90 오라클 4/4 재현 → 병목은 읽기가 아니라 쓰기.
vis-pure(MemER-style)가 4모델 중 3에서 비오라클 1위(flash-3.6 .626 · flash-3.7 .657 · luna .433), sonnet만 텍스트 ≥ 이미지(rf-v2/v3 .393).
vis 이득(vis−frames)은 보관 프레임 최근성과 단조(0.51→+.10, 0.66→+.04, 0.81→+.01).
tagmem(ours)은 flash급에서 hidden place·multi 비오라클 1위, flash-3.7 전체 2위(.560).
0.657
flash-3.7 vis-pure loc (격자 최고)
0.560
flash-3.7 tagmem loc (2위)
$74.7 + $9.7
flash-3.7 · luna 실비 (KST 8/30 $84.4)
1배경/목적
8/28 확정한 flash급 격자(flash-3.6 · flash-3.7 · sonnet-5 · gpt-5.6-luna)의 마지막 두 열. 질문: ① 매체 선호 모델 종속·MemER-style 최근성 편향(8/28~29)이 재현되는가,
② G1·textlog 오라클이 4모델 모두 유지되는가, ③ tagmem의 hidden·multi 강점이 flash 고유인가.
2작업 내용
scontrol update JobID=99947 StartTime=now ; scontrol update JobID=99945 StartTime=now # 15:55 UTC (KST 8/30 00:55)
bash scripts/run_v1_final_shards.sh gemini-3.7-flash v1final_flash37 4 8 all # n54, 5h39m, $74.73, 오류행 0
bash scripts/run_v1_final_shards.sh gpt-5.6-luna v1final_luna 4 8 all # n53, 4h50m, $9.67, 오류행 0
python tmp/hf_check/merge_v1final_v2.py tmp/v1final_flash37_merged.json "tmp/v1final_flash37_s?/results.json:blind,…,tagmem-r3"
python tmp/hf_check/grid_v1final.py # 4모델 격자 + 부분집합 + G1 + vis-pure 보관 프레임 최근성 (신설)
3결과
4모델 × 7전략 (loc / place)
| 전략 | flash-3.6 | flash-3.7 | sonnet-5 | luna |
|---|
| blind | 0.255/0.149 | 0.226/0.141 | 0.183/0.117 | 0.250/0.139 |
| textlog (오라클) | 0.521/0.479 | 0.516/0.468 | 0.494/0.453 | 0.516/0.466 |
| frames-uniform | 0.536/0.372 | 0.554/0.400 | 0.372/0.229 | 0.393/0.240 |
| rf-v2 (MEM naive) | 0.350/0.250 | 0.466/0.365 | 0.393/0.257 | 0.239/0.128 |
| rf-v3 (MEM-style) | 0.431/0.325 | 0.440/0.343 | 0.393/0.251 | 0.367/0.226 |
| vis-pure (MemER-style) | 0.626/0.462 | 0.657/0.494 | 0.380/0.248 | 0.433/0.273 |
| tagmem-r3 (ours) | 0.521/0.396 | 0.560/0.426 | 0.305/0.194 | 0.356/0.222 |
기권율(blind/textlog/frames/rf-v2/rf-v3/vis/tagmem): flash-3.6 .40/.35/.05/.39/.25/.02/.19 · flash-3.7 .47/.36/.04/.34/.35/.01/.14 · sonnet .48/.42/.11/.30/.29/.11/.32 · luna .42/.32/.00/.48/.28/.00/.24.
G1(blind ≤ 0.287) 4/4 통과 · textlog target 오라클 .914/.894/.906/.906.
비오라클 순위 (loc)
- flash-3.6: vis .626 > frames .536 > tagmem .521 > rf-v3 .431 > rf-v2 .350 > blind .255
- flash-3.7: vis .657 > tagmem .560 > frames .554 > rf-v2 .466 > rf-v3 .440 > blind .226
- sonnet-5: rf-v2 .393 = rf-v3 .393 > vis .380 > frames .372 > tagmem .305 > blind .183
- luna: vis .433 > frames .393 > rf-v3 .367 > tagmem .356 > blind .250 > rf-v2 .239 (blind 이하, 기권 48 %)
부분집합 비오라클 1위 (loc/place)
| 모델 | hidden (43) | multi (43) | target (255) | distractor (290) |
|---|
| flash-3.6 | tagmem 0.628/0.512 (vis 0.605/0.326) | tagmem 0.186/0.070 | tagmem 0.588/0.427 | vis 0.703/0.528 |
| flash-3.7 | vis 0.628/0.326 · rf-v2 0.605/0.465 · tagmem 0.605/0.488 | tagmem 0.233/0.163 | tagmem 0.600/0.443 | vis 0.710/0.534 |
| sonnet-5 | rf-v2 0.465/0.256 | rf-v2 0.093/0.047 | rf-v2 0.376/0.212 | frames 0.417/0.279 |
| luna | rf-v3 0.302/0.163 | vis 0.093/0.047 | vis 0.373/0.224 | vis 0.486/0.317 |
vis-pure 보관 8프레임의 시점 분포 vs 이득
| 모델 | 정규화 시점 평균 | 전반부 비율 | 최초 보관 위치 | vis − frames (Δloc) |
|---|
| flash-3.6 | 0.508 | 49.9 % | 0.068 | +0.090 |
| flash-3.7 | 0.508 | 49.5 % | 0.056 | +0.103 |
| luna | 0.661 | 28.2 % | 0.273 | +0.040 |
| sonnet-5 | 0.809 | 3.5 % | 0.623 | +0.008 |
(a) luna rf-v2 기권 48 % (target 123/255) — 원문 · train_1362__0 "Pick up the vase I moved earlier" (GT living room / tv stand)
자필 로그 꼬리: [420s–450s] The robot carried the table lamp … placed it on the shelf in the living room. — 램프만 기록, 꽃병 이동 누락
답: "The notes do not mention moving a vase, so its current location cannot be determined." abstain:true → 0. rf-v3(재작성): "The vase is on the dining table in the living room" → loc 1 / place 0.
원인 naive append 노트가 성기고 누락되면 읽기가 기권으로 귀결. 교훈 재작성(rf-v3)은 전체 상태를 유지해 누락을 줄임(luna +0.128) — 단 노트가 이미 충실한 flash-3.7에서는 재작성이 세부를 지움(−0.026, hidden rf-v2 .605 vs rf-v3 .419).
(b) flash-3.7 hidden — 텍스트가 이미지를 이김 · train_3912__2 "Pick up the fork I moved earlier" (GT bedroom / desk, 서랍 안)
rf-v2: "placed into the open drawer of the desk in the bedroom" → loc 1 / place 1 · vis-pure: "on the countertop in the kitchen, seen near the loaf of bread" → 0.
가려진 물체는 최종 프레임에 보이지 않아 키프레임 메모리가 마지막 노출 장면을 잃음 → flash-3.7 hidden place: rf-v2 .465 · tagmem .488 vs vis .326.
(c) flash-3.7 tagmem multi · train_3060__1 "Pick up all the mugs I moved earlier" (GT kitchen/countertop + bedroom/dining table)
tagmem: "first mug … placed on the countertop at t=300s. A second mug … carried to the bedroom, and placed on the desk at t=450s" → 두 개 모두(loc 1) · vis-pure: "moved one mug … to the dining table in the bedroom" → 0. 태그 검색이 같은 카테고리의 복수 이벤트를 모두 회수.
4Takeaway
- G1·오라클 4/4 재현: blind ≤ chance, textlog target ≈0.90 → 병목은 읽기가 아니라 "무엇을 남기는가". 벤치마크 설계 주장 유지.
- 이미지 메모리 우위 3/4 모델(flash-3.6·3.7·luna), sonnet만 텍스트 ≥ 이미지. "매체 선호 모델 종속"은 유지하되 다수 모델에서 MemER-style이 1위.
- vis-pure 이득은 보관 프레임 최근성과 단조 — 같은 프롬프트·예산이라도 프레임 선택 정책이 모델마다 달라, 프롬프트 적응의 핵심 변수는 "무엇을 버리는가".
- 재작성 vs 누적은 모델 종속(luna +.128 · flash-3.6 +.081 · sonnet 0 · flash-3.7 −.026): naive 노트가 성긴 모델에서 재작성이 구제, 충실한 모델에서는 세부 손실.
- tagmem(ours): flash-3.7 2위(.560, frames 초과) · flash-3.6 3위 · luna 4위 · sonnet 6위. hidden place(.512/.488)·multi(.186/.233)·target(.588/.600) 비오라클 1위는 flash급에서 일관. sonnet·luna는 태거 쓰기 품질(검색 0히트)이 발목 — 평가지 튜닝 없이 기록.
- multi는 전 모델 비오라클 ≤ .233(textlog .47–.49): 복수 인스턴스 추적은 모든 메모리 전략의 공통 실패.
5Next
- 격자 완성. 남은 것 = 릴리즈 델타(e987b40f): 허브 6/6 확인 후 15편 × 4모델(≈$33 × 비율 → ≈$120, 2일 분할) —
sbench_eval.delta, --memory-from.
- 논문 표 원천:
tmp/hf_check/grid_v1final.py · 병합 tmp/v1final_{flash_merged_v4, flash37_merged, sonnet_merged_v2, luna_merged}.json.
- 코드·문서 미커밋(delta.py · grid 스크립트 · 프롬프트 · 테스트) — 사용자 확인 후 커밋.