v1 final 평가 프로토콜 확정 — 답 계약 v3 · 이미지 cap 8

TL;DR

데이터 버전 확정: dev(582e691d, 153편/759질의, 실패 42%) → v1 final(87220689, 100편/584행, eval 545행) → release(e987b40f, 589행, 미라벨 0)
답 계약·GT 규칙 v3 확정: 이미지 cap 16→8로 축소, 후보 리스트 없이 전역 vocab만 제공, 바닥/hidden GT 규칙 명문화
매뉴스크립트 반영: protocol.tex 등 11개 파일 재작성(+213/-123줄) — "two-stage agent"를 "grounded controller"로 일반화, Direct/Stateful 3-tier 신설

이미지 cap(구 16)

0.287

loc chance

589

release 행수(e987b40f)

재작성 파일(558a26a)

1 배경 / 목적

SceneMem-Bench 논문 §3(Benchmark)·§4(Protocol)을 쓰려면 "지금 어떤 데이터·규칙으로 측정 중인가"가 하나로 고정돼 있어야 한다. 그런데 8/26 예비 리포트에 실린 vis-pure 0.701 / tagmem 0.618 수치는 이미지 cap 16·image 6장·구 프롬프트 기준이라 최종 프로토콜과 맞지 않아 인용 금지 상태였고, 허브 데이터도 8/26 스냅샷(87220689)이 8/28 e987b40f로 갱신(편 5삭제·5신규·10재시뮬)되는 중이었다. 프로토콜(답 계약, GT 규칙, 이미지 예산)과 데이터 버전을 명문화하지 않으면 논문 표와 실제 실행이 어긋나는 리스크가 있었다.

기존 한계: protocol.tex가 "memory VLM + VLA policy" 2단 에이전트만 기술하고 있었고, 이미지 cap도 문서상 16으로 남아있어 실제 실행(cap 8)과 불일치. Direct/Stateful 태스크 구분이 문서화되지 않아 Tier-3 online 결과를 어느 표에 넣어야 할지 불명확했음.

2 작업 내용

1) 데이터 버전 3단계 정리

sha	날짜	내용	상태
`582e691d`	~8/18	v0.7, 153편/759질의, 실패 42%	dev 전용 — 논문 표 제외
`87220689`	8/26	v1 final, 100편/83하우스, find 584행, 성공 82.6%	1차 캠페인 기준(eval 545행)
`e987b40f`	8/28 02:15 UTC	편 5삭제·5신규·10재시뮬, 589행, 미라벨 0	release 확정 기준

2) 평가 프로토콜 v3 확정

질의 턴 = 마지막 exo_camera_1 프레임 1장 + 질의문 후보 리스트 없음, 전역 vocab(objects 61 / surfaces 16+floor / rooms 4)만 시스템 프롬프트 누출 가드 assert_no_episode_leak 584/584 통과 답 계약(v3) = selections[{category, room, surface}] + abstain 채점: loc_set(방 다중집합) / place_set(방+표면) / loc_f1 / count_ok 기권·파스실패 = 오답, multi("all the …")는 개수까지 채점 GT 규칙: 바닥 → surface="floor" / hidden(fixture 안) → candidates[].fixture가 정답(엄격) 표면 미라벨 → 제외(e987b40f에서 해소, 545/545 유도) chance: loc ≈ 0.287(편당 방 3.4개), place ≤ 0.251 → G1 = blind ≤ chance 이미지 cap = 8 (write/read, frames-uniform/vis-pure/tagmem 공통, MemER |K_t|≤8과 동일) writer 공통조건: 공통 목적 전문 + 30s 고정창×4프레임 청크 + 이전 메모리 되먹임

3) 방법 명명·귀속(§4/§5 표 각주)

우리 이름	논문 표기	원 논문	차이
rf-v2	naive concatenation (ablation)	MEM baseline	청크당 1줄 누적, 재작성 없음
rf-v3	MEM-style language memory	MEM (arXiv 2603.03596)	과제 목표 없음(회고형), 프롬프트형, 단기 비디오 메모리 생략
vis-pure	MemER-style keyframe memory	MemER (arXiv 2510.20328)	세그먼트→30s 청크, DROP/축출 추가, fine-tune 아님
tagmem-r3	ours	—	저장 이미지 ≤8, 읽기 text≤12·img≤8

4) 매뉴스크립트 반영 (558a26a → b240663 → ffd163c, 8/28 05:45–06:10 UTC)

558a26a "Revise protocol and legal-review manuscript" — 11 files, +213/-123 "two-stage reference agent(memory VLM + VLA policy)"를 "grounded controller"(occupancy-map A* 내비게이션 + VLA 조작)로 일반화, 컨트롤러 모듈 경계 명시(통합 VLA로 교체 가능해도 벤치마크 인터페이스 불변) Direct/Stateful 태스크 구분 신설(3-tier 공용), 이미지 cap 16→8 텍스트 반영 strategy 서술을 rf-v2(naive)/rf-v3(MEM-style) 분리, vis-pure를 MemER-style로 재기술 b240663 "Align tiers with online Stateful evaluation" — 6 files, +166/-114 Table 1(Tier-1)을 "Direct memory QA"로 재명명, frames-uniform을 rf-v3 앞으로 재배치 이미지cap 16/8 sensitivity ablation 표(svis@16/8, stag@16/8) 폐기 → family별 online state 표 신설(Finding=checked location, Restore=restored state, Resume=completed suffix, Routine=completed placement) ffd163c "Expand pipeline table across task functions" — 1 file, +36/-15 Tier-1 표를 4개 task function(Finding/Restore/Resume/Routine) 전체로 확장

3 결과 (수치)

프로토콜-실행 일치: 문서상 이미지 cap이 16에서 8로 정정되어 실제 실행 설정과 일치. Direct/Stateful 구분이 명문화되어 Tier-3 online 결과(온라인 writer 조건)를 표에 배치할 근거 확보.

데이터 계보 명확화: 8/26 리포트 수치(vis-pure 0.701/tagmem 0.618, cap16·img6)가 무효 처리되고, 87220689(545행)와 e987b40f(589행) 두 버전만 인용 가능한 상태로 정리됨.

4 Takeaway

의미

벤치마크 논문에서 가장 흔한 리뷰 지적은 "선언한 프로토콜과 실제 수행이 다르다"는 것인데, 이번 작업으로 §4 protocol.tex의 서술(이미지 cap, 컨트롤러 구조, Direct/Stateful 구분)이 실제 실행 설정과 맞춰졌다. 동시에 데이터 sha 3단계(dev→v1 final→release)를 명시적으로 분리해, 어떤 표가 어떤 데이터 버전을 인용하는지 추적 가능해졌다.

5 Next Steps

미해결 한계

§3 Benchmark의 통계 수치가 아직 87220689(545행) 기준으로 남아있을 가능성이 높음 — e987b40f(589행) 확정 이후 재기입이 논문 반영 체크리스트에 남아있음(v0.7 표 완전 제거 포함). PH-1 API 격자(gpt-5.6 계열 이미지 입력 확인 결과)도 아직 본문에 반영 안 됨.

다음 작업

§3 통계를 e987b40f 589행(target 294·distr 295·hidden 63·multi 54) 기준으로 재기입. 부록에 writer 프롬프트 원문 4종 + 채점 계약 + 델타 이전 절차 삽입. hidden/multi 계층별 결과 표 신설(HANDOFF §7 체크리스트 잔여 항목).

v1 final 평가 프로토콜 확정 — 답 계약 v3 · 이미지 cap 8 · Direct/Stateful 3-tier