scene_bench — HF 데이터셋 v1 final (find) 수령 점검

TL;DR

레이아웃이 통째로 바뀜: data/val_*+편별 eval_spec.json → contexts/type1/train_*(불변 100편) + eval/find/queries.jsonl(재생성 층 584행). v0.7은 sha 582e691d로만 접근.
42.8 GB 다운로드 완료 (60분, 700파일, 결손 0) → ~/datasets/scene-mem-benchmark-v1_260826/. v0.7 스냅샷 보존.
파이프라인 호환: dataset_v1 로더가 584행/100편 즉시 로드. run_eval_v1.py의 restore 하드코딩 1곳 수정 → dry-run 1편 통과 (6질의 GT + 3전략 빌드).
논문 표(v0.7 val 153편, 실패 42%)와 다른 데이터 (train 100편, 성공 82.6%) → 최종본 인용 시 재측정 결정 필요 (러프 $110+, 컨텍스트 병렬 전제).
answers 638 중 surface None 88(13.8%) — hidden 43·on_floor 14 축 신설. 현 채점은 room-only로 강등(크래시 없음), candidates[].fixture로 35건 보충 가능(계약 변경).

100

contexts (train_*)

584

find 질의

82.6%

이벤트 성공률

40 GiB

다운로드 (60분)

13.8%

surface None 답

1 배경 / 목적

사용자: "HF 받던 곳에 finding task 최종본 나왔다는데 확인". 논문 초안의 실측 표(S3 find n=353, online n=353, cap16→8)는 8/18 v0.7 기반. 최종본의 변경점, 파이프라인 호환, 논문 수치 영향을 확정해야 했다.

2 릴리즈 프로필 — v0.7 → v1 final

	v0.7 (8/18)	v1 final (8/26)
레이아웃	`data/<ep>/` + `eval_spec.json`	`contexts/type1/<house>__<seed>/` + `eval/find/queries.jsonl`
컨텍스트	153편 / 79 하우스 (val_*)	*100편 / 83 하우스 (train_)**, 15.6h, 중앙값 9.0분
질의	759 (382/377)	584 (target 293 / distractor 291), 편당 5–7행
이벤트 성공	397/671 (42% 실패)	384/465 (82.6%) — `failed ≤ 1` 게이트 548→156편
탈락	ineligible 27 + ambiguous 50	232 (capped 157 / ambiguous 53 / ineligible 22), 11.4%
가족	find	find만 (restore 0 / resume 0)
용량	43.65 GB	42.78 GB (39.8 GiB), 700 파일

새 축 (stats.json)

scoring pick 542 · open_pick 33 · navigate_only 63 concealment open 595 · hidden 43 (문 닫힌 fixture 안, 37편) misplaced no 582 · wrong_surface 32 · on_floor 14 · not_moved 10 twin_nearby False 495 · True 89 steps single 531 · multi 53 template Pick 527 · NavToObj 57 budget_steps 1500 (541) · 2500 (43)

Known issues(카드 명시): oracle 전 행 null — 스텝 예산 미측정(budget은 추정치). 벽 관통 검사 미실행.

카드 불일치 2건(생성팀 전달): ① 본문 steps "single 257 / multi 22" ↔ stats.json 531/53 ② 예시 q00 "Pick up the cup…" ↔ 실제 NavToObj "Navigate to the cup…"(바닥 낙하 cup, pick_fail ik/reach).

3 다운로드 · 파이프라인 호환 · dry-run

snapshot_download(allow_patterns=["README.md","eval/**","contexts/**"], max_workers=8) → 60.0 min · 705 files · .incomplete 0 · 100/100편 × 7파일 · 40 GiB (traj.h5 read timeout 1회 → 자동 resume) dataset_v1.load_rows(root, ("find",)) → 584 rows / 100 contexts ✓ run_eval_v1.py:77 load_rows(root, ("find","restore")) ✗ restore 파일 부재 → 패치: present = [f for f in ("find","restore") if eval/f/queries.jsonl exists] --dry-run --contexts train_1299__2 (17,838 steps): q00 find_target navigate_only 'Navigate to the cup I moved earlier' GT floor q01 find_target open_pick 'Pick up the remote control I moved earlier' GT bedroom / surface None (hidden: chestofdrawers) q02 find_target pick 'Pick up the pen I moved earlier' GT bathroom / toilet q03–q05 find_distractor ladle · pencil (kitchen/dining table) · vase (living room/dresser) blind 0턴 · textlog 766자 · frames-uniform 16장 → EXIT 0

8/21 샘플 v1 어댑터가 이 레이아웃의 선행판이라 호환 이슈는 하드코딩 1곳뿐. 수정은 5줄, 미커밋.

4 채점 커버리지 — `surface` None 88/638

scoring / concealment / room / surface	n
pick / open / room+surface	518
open_pick / hidden / surface None	26
pick / open / surface None	24
navigate_only / open / surface None	15
navigate_only / open / room None + surface None (on_floor)	14
navigate_only / hidden / surface None	9
open_pick / hidden / room+surface	7
navigate_only / open·hidden / room+surface	25

hidden 35건은 candidates[].fixture에 fixture uid(chestofdrawers/desk/stand)가 있다. grading.py는 surface None → place_gradable=False로 room-only 채점(8/21 계약 그대로, 크래시 없음).

5 Takeaway

논문 표와 최종본은 다른 데이터다

val_* 153편(실패 42%) vs train_* 100편(성공 82.6%, failed ≤ 1 게이트). 분포 자체가 달라 v0.7 수치를 옮겨 적을 수 없다. 최종본을 인용하려면 재측정 — 러프 산정(8/13 실측 $0.019/call, 질의 6–18s): 584행 × 5전략 × 2모델 ≈ 5,840 call ≈ $110 + ingest, 직렬 ~10h/모델 → 컨텍스트 단위 병렬(sbm) 전제.

6 Next

결정 완료 (260826 오후)

최종본만 사용(v0.7은 dev). surface None 88답 3분기 채점 계약: A 바닥 14 → floor / B hidden 43 → candidates.fixture가 정답 표면(엄격) / C 미라벨 39 → 평가 세트 제외(반점 철회). 구현·테스트 99 통과, 평가 545행 / place 채점 가능 545/545 (100%). 제외가 target 편중(38/39) → kind 255:290. concealment 층화 축 + 어휘 v3(+5). hidden의 온라인 open 스킬은 사용자가 데이터셋 학습 예정.

재측정 비용 산정 (S3 실측 단가 + v1 카나리아 $0.92)

545행/100편, 6전략(blind/textlog/frames-uniform/rf-v2/vis-pure/tagmem): flash ≈ $63 · sonnet ≈ $72 · gpt-5.5 ≈ $275(외삽, 오프라인 3종 $51은 실측). gpt-5.5/flash 비율 텍스트 2.2× · 이미지 5.1×. 직렬 flash 21h·sonnet 15h → 3–5 샤드 4–7h.

런 제출 (260826)

cap 8 기본 확정. job 97359 v1final_flash: gemini-3.6-flash × 6전략 × 545행, 4샤드 CPU-only worker, 예상 5–6h ≈ $45. GPT 저가형 카나리아: gpt-5.4-mini $0.036/편(flash의 1/4), gpt-5.4-nano $0.011, gpt-5-mini $0.032 vs gpt-5.5 $0.559 → 6종 외삽 mini ≈ $15.

옵션

hidden 답 surface를 candidates[].fixture로 채워 place 채점 커버리지 회복(계약 변경). 실행형 평가 시 oracle=null·벽 관통 미검증 리포트 명시.

산출물

로컬 데이터 ~/datasets/scene-mem-benchmark-v1_260826/ · 스크립트 tmp/hf_check/ · 로그 claude/260826/research-hf_dataset_v1_final.md

HF 데이터셋 v1 final (find) 수령 점검