relocated[]) 변경. tgz 47편 = 허브 변경 47편 정확히 일치.restore_target으로 개명(내용 동일, id 재번호 38), restore_distractor 196행 신규 = 격자의 Restore Direct ② (Observed displacement). 전부 47편·single, first 139 / previous 57, 두 번 목격(n_hops 2) 109.visible_at_start가 들어와 가시성 ablation 표를 pseudo-label에서 교체 가능.사용자가 distractor를 ①내가 옮긴 것 / ②보기만 한 것으로 나누는 추가 데이터를 허브에 올렸고, 컨텍스트 ~50편이 수정됐다고 알려 옴(목록 relocation_json_47eps.tgz). 격자는 4가족 × [Direct ①/②/③ hidden] + [Stateful ①=①의 다중 / ②=②의 다중]. 질문: 새 컨텍스트는 재측정하고, 기존 find/restore 결과는 격자에 맞게 재정비해야 하는가?
답을 내려면 "무엇이 실제로 바뀌었나"를 파일·행 단위로 확인해야 한다 — 카드 문구("find is unchanged")를 그대로 믿지 않고 sha·행 내용을 대조했다.
tmp/hf_check/inspect_latest.py: 최신 609076c0(2026-09-05 14:21 UTC). type1 100편 파일 sha를 bcaf2815와 비교 → 47편 변경(6파일: 3캠 mp4·traj.h5·final.npz·meta.json), subtasks.json 불변.diff_609076c0.py(query_id 기준) → id 재번호 발견 → match_609076c0.py(편·kind·origin·정답 물체 집합 기준) → tmp/reloc47/eval_match.json(old→new id 매핑).sbench_eval.delta.plan_delta 실행: 질의문 기준 매칭이라 재번호를 견딤, 47편 변경을 index.json bytes로 정확히 검출. 단 find 전용.kind 참조는 facts.py 후보 로직 1곳(find_target)뿐, 채점·러너는 kind 무관. episode_loader는 meta 버전 단언 없음·relocated 미사용. textlog 원천 = subtasks.json.~/datasets/scene-mem-benchmark-v1_609076c0/에 완료, 47편(≈21 GB) 백그라운드 다운로드 + 53편 e987b40f symlink.| 항목 | bcaf2815 | 609076c0 (v1.1) | 비고 |
|---|---|---|---|
| type1 편 | 100 | 100 | 47편 변경(videos·traj.h5·final.npz·meta), subtasks.json 불변 |
| meta.json | 1.0 | 1.1(47편) | relocated[](obj·moves frame/xyz·tracked_in_v1), rerender, derived_from |
| restore 행 | 322 | 518 | 322 = restore_target 개명(동일, id 재번호 38) + restore_distractor 196(전부 47편·single) |
| find 행 | 589 | 590 | 내용 일치 525(id 재번호 18) · 삭제 64 · 추가 65(무변경 53편에 44, 47편에 21) · GT 변경 1(train_8077__2 bowls 2→3) |
| find kind | 294 T / 295 D | 301 T / 289 D | multi 54→91: 쌍둥이 단일 distractor → "all the X" multi 전환(추가 65 중 multi 40), not_moved 10행 폐기, 픽 실패 물체 무질의 |
| find 답 필드 | — | visible_at_start·visible_px_at_start | 정식 가시 라벨(시작 프레임 3캠 max, ≥50 px). 행 any: target 98/301 · distractor 58/289 |
| resume | 48+96 | 동일 | type2 12편 불변(미측정 그대로) |
shares_answer_with 빈 값).| 가족 | Direct ① 내가 한 것 | Direct ② 보기만 한 것 | Direct ③ hidden | Stateful ① | Stateful ② |
|---|---|---|---|---|---|
| Find | find_target single 265 open 220 + hidden 45 | find_distractor single 234 open 229 + hidden 5 | hidden 답 포함 68 ①②S와 겹침 → 본표 제외(260831) | find_target multi 36 | find_distractor multi 55 |
| Restore | restore_target single 243 hidden 28 | restore_distractor single 196 | — | restore_target multi 79 hidden 28 | 0 (v1.1 미포함) |
| 대상 | 메모리 | 질의 | 근거 |
|---|---|---|---|
| 재렌더 47편 | 전 전략 재작성(ingest) | find 276 + restore 345(target 149 + distractor 196) 전부 | 영상이 바뀌어 메모리 내용이 달라짐. textlog·blind·frames도 질의 프레임·샘플 프레임이 재렌더 대상일 수 있어 재질의 |
| 무변경 53편 | 재사용(--memory-from) | find 신규 44행만 | 기존 find 270·restore 173행은 id 매핑 후 재채점(GT 변경 1행 포함), find 삭제 64행 제거 |
src/sbench_eval/delta.py — family 인자(현재 find 전용) + restore용 _gt_key(from/to 방·표면).tmp/hf_check/merge_delta.py — restore 지원 + old→new id 매핑(eval_match.json).tmp/hf_check/grid_v1final.py — SET v11(609076c0) + 격자 셀 subset(D①/D②/D③/S①/S②) + 옛 결과의 kind="restore"→restore_target 정규화.ablation_visibility.py --labels에 정식 visible_at_start 주입(query_id, visible 두 열 변환).n_steps·프레임 수 = v1 동일 검증, relocated 프레임이 영상에서 실제로 바뀌는지 2편 샘플 확인.원천: tmp/hf_check/{inspect_latest,diff_609076c0,match_609076c0,download_609076c0}.py, tmp/reloc47/{hub_changed,eval_diff,eval_match}.json. 로그 claude/260905/analysis-v11_release_delta.md.
merged_multi 34 불변) 이 fold가 restore_target에만 돌았다. distractor 행 ≥2인 편 45/47, first-origin ≥2인 편 42 → target과 같은 규칙으로 접으면 렌더 없이 ≈40행. 도착하면 47편 메모리 재사용 읽기 전용 델타(≈$10).check_xpos 변경 물체 = 이동 물체 164개 47/47 정확 일치.--query-ids 필터(캐시 재질의 43행만), delta.py 가족 인자·restore GT 키, 두 셸 스크립트 V1_FAMILIES 두 가족 한 잡(ingest 1회 공유), merge_v11.py(590/518 검산), grid_v1final.py v11 find|restore + 격자 셀 표.room_name_map)가 컨텍스트에 주입된 질의 행(근거)에 의존한다. 재채점이 restore 행만 주입하자 toilet의 방이 kitchen↔bathroom으로 흔들려 3행이 오재채점됐다 → 러너처럼 두 가족 행을 전부 주입하도록 수정, restore 재채점 변경 0. find는 4질의 28행 드리프트(bowls 2→3 정당 1, not_moved 행 삭제로 근거 소실 2, 새로 유도 1) — 근거 의존성은 기록.| 잡 | 내용 | 시작 | 추정 |
|---|---|---|---|
110732 / 110733 / 110734 v11open_{qwen3vl8b,cosmosr2,molmo2} | 47편 두 가족 전량(4샤드) && 캐시 43행(2샤드) | 15:37 UTC 세 잡 RUNNING | ≈3 h/모델 · $0 |
110735 v11_flash37 | 7전략 전량 + 캐시 | 즉시 (KST 9/6) | ≈$70 |
110736 v11_luna · 110737 v11_sonnet_a(blind,textlog,frames,rf-v2) · 110738 v11_flash36_a(blind,textlog) | 예약 | 09-06 15:05 UTC (KST 9/7) | ≈$11 + $47 + $8 |
110739 v11_sonnet_b(rf-v3,vis,tagmem) · 110740 v11_flash36_b(frames,rf-v2) | 예약 | 09-07 15:05 UTC (KST 9/8) | ≈$43 + $27 |
110741 v11_flash36_c(rf-v3,vis,tagmem) | 예약 | 09-08 15:05 UTC (KST 9/9) | ≈$53 |
전부 --qos=extra(own은 타 프로젝트 잡이 CPU 112 점유). 선점되면 같은 명령 재제출로 편 단위 체크포인트에서 이어간다. 완료 후 merge_v11.py <tag> → grid_v1final.py v11 find nohidden / v11 restore.