2026-09-06 · scene_bench · 데이터셋 해설
v1.1 데이터셋 업데이트 해설 — "남이 옮긴 물체"(moved distractor)
HF Keh0t0/scene-mem-benchmark 커밋 609076c0 (2026-09-05). 무엇이, 왜, 어떻게 바뀌었는지 원문·영상 프레임·질의 JSON으로 직접 확인할 수 있게 정리
TL;DR
- 핵심 추가 = "로봇이 방을 비운 사이 누군가 옮긴 물체". 100편 중 47편에서 로봇이 한 번도 만지지 않는 물체 1–6개(총 164개)를 로봇이 안 볼 때 다른 자리로 옮기고, 그 물체가 보이는 프레임만 다시 렌더링했다. 로봇의 궤적·행동·다른 물체는 v1과 바이트 동일.
- 이걸로 Restore Direct ②(Observed displacement) 질의 196행이 새로 생겼다: "그 물체를 처음 있던 자리(first) / 직전 자리(previous)로 되돌려라". 기존 restore 322행은 이름만
restore_target으로 바뀜. - find는 카드에 "unchanged"라 적혀 있지만 실제로는 65행 추가·64행 삭제: 쌍둥이가 있는 단일 distractor("the watch")를 "all the watches" multi로 바꿨고, 픽 실패 물체(not_moved) 행을 없앴다.
- 모든 답에
visible_at_start(평가 시작 프레임에 보이는가) 정식 라벨이 붙었다 — 가시성 ablation의 pseudo-label을 대체. - 평가 쪽 의미: 47편은 영상이 바뀌어 메모리부터 재측정(진행 중, 4/7 모델 완료), 나머지는 재채점. Restore ②에서 행동 로그 오라클은 정의상 0(로봇이 안 한 일이라 로그에 없음) — 이 열은 "관찰 증거"만으로 풀어야 한다.
47
재렌더 편 / 100
164
옮겨진 물체
83 → 196
질의된 물체 → restore_distractor 행
109
두 번 옮겨진(두 번 목격) 행
+65 / −64
find 행 추가 / 삭제
1파일 단위로 무엇이 바뀌었나
| 파일 | 변경 | 내용 |
|---|---|---|
contexts/type1/<ep>/videos/{exo_camera_1,exo_camera_2,wrist_camera}.mp4 | 47편 재렌더 | 옮겨진 물체(또는 그 물체의 옛 자리)가 보이는 프레임만 시뮬레이터 상태에서 다시 그림. exo 카메라 기준 편당 프레임의 중앙 76%(30–97%)가 교체 대상이었음(로봇이 보는 대부분의 프레임에 해당 물체가 걸리기 때문). 전체 파일이 재인코딩되어 나머지 프레임도 픽셀값이 미세하게 다름(평균 |Δ|≈1). |
traj.h5, states/final.npz | 47편 | 옮겨진 물체의 새 포즈. 스텝 수·fps·프레임 수는 v1과 동일(steps_emitted = n_steps − 2도 그대로). final.npz에서 포즈가 바뀐 물체 집합 = 옮겨진 물체 164개와 47/47편 정확히 일치(직접 검증). |
meta.json | 47편, schema 1.0 → 1.1 | relocated[](물체·이동 프레임·xyz·tracked_in_v1), rerender, derived_from 추가. |
subtasks.json | 불변(47편 바이트 동일) | 로봇의 행동 기록은 그대로. 옮김은 로봇이 한 일이 아니므로 여기 없음 → textlog 오라클은 이 변화를 모른다. |
eval/restore/queries.jsonl | 322 → 518행 | 기존 322 = kind: restore_target(문장·정답 동일, id 38개 재번호) + 신규 196 = kind: restore_distractor. |
eval/find/queries.jsonl | 589 → 590행 | 내용 일치 525 · 추가 65 · 삭제 64 · GT 변경 1. 답 필드 visible_at_start·visible_px_at_start 추가. |
eval/resume/* | 불변 | type2 12편, 48+96행 그대로. |
| 나머지 53편 | 불변 | v1과 바이트 동일(하드링크). v1 전체는 revision="v1" 태그로 계속 받을 수 있음. |
데이터 카드 원문 (v1.1 절)
v1.1 (2026-09-04): moved distractors. In 47 contexts one to eight distractor objects — objects the robot never
touches — are moved by someone else while the robot is out of the room: seen at one place early in the episode,
later seen somewhere else (some of them twice). The robot's trajectory, actions and every other object are
byte-identical to v1; only the frames in which those objects (or their old spots) are visible were re-rendered
from the recorded simulator state, and traj.h5 / states/final.npz carry the new poses. Such contexts have
meta.json.schema_version = "1.1" and a relocated list. The new queries are restore rows with
kind = "restore_distractor" (139 first + 57 previous, in 47 of those contexts — the other moved objects failed
the pick/place eligibility gates and get no query, but are moved in the video all the same); the existing rows
are now kind = "restore_target" (unchanged otherwise). find is unchanged. v1 is still reachable as revision="v1".
"find is unchanged"는 카드 문구이고, 행 단위로 대조하면 find도 바뀌어 있다(§5). 47편 목록은 사용자가 준
relocation_json_47eps.tgz와 허브 sha 변경 47편이 정확히 일치.2"남이 옮긴 물체"는 어떻게 만들어졌나 (생성 규칙)
편별 relocation.json(schema 1.1)에 선정 규칙과 후보별 판정 이유가 전부 적혀 있다. 요지:
- 대상: 로봇이 한 번도 집지 않는 물체(distractor)만. 편당 단일 이동 물체 최대 4개(
single_cap 4), 두 번 이동 물체는 캡 없음. - 언제 옮기나: 로봇이 그 자리를 못 보는 시점에 순간이동(teleport). 새 자리는 그 뒤 exo 카메라에 ≥1 s 보여야 하고, 옮기기 전 자리를 본 뒤 최소 60 s + 다른 task 하나가 지나야 한다. 두 번 옮기는 물체는 한 이동이 task 하나를 통째로 건너뜀(
two_move). - 목격 기준: 세그멘테이션 픽셀 수 notice 300 px / strong 500 px. 실제 렌더된 164개의 목격은 중앙 24 s(p10 3.8 s, 최소 1.2 s), 최대 픽셀 중앙 1,262(p10 529, 최소 310).
- 시작 자리도 골라 배치(
restaged_start): 164개 중 95개는 장면의 원래 자리(A_original) 대신 우리가 고른 자리에서 시작한다(원래 자리가 카메라에 안 걸리거나 놓기(place)가 불가능해서). 이 경우 "처음 있던 자리"의 정답은 그 배치된 시작 자리다. - 물리 정합: 놓는 높이는 시각 메시가 표면에 닿도록 내림(
lowered_to_visual_contact_mm, 21건, 중앙 27 mm). 마지막 자리는 로봇이 집을 수 있어야(reach + plan_pick), 처음 자리는 놓을 수 있어야(plan_place) 질의 자격. - 탈락: 후보 460개 중 164개 렌더. 탈락 296 =
no_chain154(목격 연쇄를 못 만듦) ·first_not_placeable96(처음 자리에 놓기 불가) ·single_cap45. 렌더된 164개 중 질의 자격(pick/place 게이트)을 통과한 물체는 83개 → 행 196(first 139 + previous 57). 나머지 81개는 질의는 없지만 영상에서는 옮겨져 있다(순수 방해자).
rule (relocation.json): single_cap 4 · two_move_uncapped · final_spot "reach + plan_pick" · first_origin "plan_place, else A′"
notice_px 300 · strong_px 500 · single_move "60 s + 다른 task" · two_move "한 이동은 task 하나 띄움"
hops: 1회 102 · 2회 62 (물체 기준) · 편당 렌더 물체 수: 1개 2편 · 2개 7 · 3개 16 · 4개 12 · 5개 8 · 6개 2
3눈으로 보기 — 같은 프레임, 왼쪽 v1 / 오른쪽 v1.1
목격이 시작되는 프레임에서 1초 뒤(+25프레임)를 두 버전에서 같은 카메라로 뽑았다. 로봇 팔·배경은 동일하고, 옮겨진 물체만 오른쪽에 나타나거나 자리가 다르다.
train_1299__2 · paper towel roll — 두 번 이동, 시작 자리 재배치(restaged)
원래 자리 countertop(방 6) → 시작을 dining table(방 6)에 배치 → f2795에 chair(방 6)로 → f5085에 dining table(방 4)로. 질의: first = 방 6 dining table, previous = 방 6 chair.
hop 0 (start) · exo_camera_2 · f25 (1.0 s) · 3,241 px · 60 s 목격 — 오른쪽 식탁 위에 키친타월이 놓여 있다(왼쪽 v1에선 원래 자리인 countertop).
hop 1 · f2795에 chair로 이동 → exo_camera_1 · f4444 (177.8 s) · 959 px · 2.4 s 목격(짧은 스침).
hop 2 · f5085에 방 4 dining table로 이동 → exo_camera_1 · f8554 (342.2 s) · 3,664 px · 12 s 목격 — 오른쪽 식탁 위 키친타월. 평가 시작 시점의 "지금 자리".
train_1299__2 · bottle — 두 번 이동(같은 방 안 의자→의자)
hop 0 · f2705에 방 4 chair로 · exo_camera_1 · f4869 (194.8 s) · 2,510 px · 6.4 s.
hop 1 · f5105에 옆 chair로 · f8639 (345.6 s) · 2,851 px · 18.6 s. previous 정답 = 첫 chair(1.2 m 거리), first 정답 = 방 6 dining table.
train_1847__1 · apple — 두 번 이동(방 6 → 방 2 서랍장 → 방 6 의자)
hop 0 · f1045에 방 2 chest of drawers로 · exo_camera_2 · f5269 (210.8 s) · 1,364 px · 81 s 목격.
hop 1 · f8165에 방 6 chair로 · exo_camera_1 · f14354 (574.2 s) · 600 px · 26 s — 오른쪽 노란 의자 위 사과(옆의 국자도 같은 편의 이동 물체 ladle).
train_1847__1 · soap bottle / ladle — 한 번 이동, 시작 재배치
soap bottle · 시작 dining table(방 6) → f1700에 방 2 armchair로 · exo_camera_1 · f5109 (204.4 s) · 765 px · 14 s.
ladle · 시작 countertop(방 6) → f5045에 방 6 chair로 · f14859 (594.4 s) · 310 px(최소 목격 강도) · 5.8 s.
미디어 11쌍 전체: 260906-v11_dataset_explainer_media/. 추출 스크립트 tmp/hf_check/explainer_v11_data.py.
4새 질의 — restore_distractor 196행
문장과 채점은 restore_target과 완전히 같다. 다른 것은 "누가 옮겼나"뿐이다.
"Pick up the {name} and place it in or on where it first was" ← origin = first (139행)
"Pick up the {name} and place it in or on where it was just before" ← origin = previous (57행, 두 번 옮겨진 물체만)
train_1299__2의 4행 (위 영상의 물체들)
| query_id | origin | 지금 자리(from) | 정답 자리(to) | n_hops | moved_frames | tags | d_xy |
|---|---|---|---|---|---|---|---|
| restore:train_1299__2:q02 | first | 방 4 dining table (f5085 정착) | 방 6 dining table (origin_frames 0–2794) | 2 | [2795, 5085] | moved_distractor, restaged_start | 4.8 m |
| restore:train_1299__2:q03 | previous | 방 4 dining table | 방 6 chair (origin_frames 2795–5084) | 2 | [2795, 5085] | moved_distractor, restaged_start | 4.0 m |
| restore:train_1299__2:q04 | first | 방 4 chair (f5105 정착) | 방 6 dining table (0–2704) | 2 | [2705, 5105] | moved_distractor | 4.5 m |
| restore:train_1299__2:q05 | previous | 방 4 chair | 방 4 chair(옆 의자) (2705–5104) | 2 | [2705, 5105] | moved_distractor | 1.2 m |
새 필드
| 필드 | 뜻 |
|---|---|
kind | restore_target(로봇이 옮긴 것, 322) / restore_distractor(남이 옮긴 것, 196) |
answers[].misplaced | moved_by_other(196) — 옮긴 주체가 로봇이 아님 |
answers[].tags | moved_distractor(196) + restaged_start(113행: 시작 자리도 우리가 배치) |
answers[].moved_frames | 물체가 점프한 프레임 목록. from.settled_frame은 마지막 점프 |
answers[].n_hops | 옮겨진 횟수(README도 이번에 정정: 방 수가 아님). 2 = 두 번 목격 후 처음/직전 구분이 필요한 행(109), 1 = 한 번 옮겨진 행(87) |
answers[].seen_s_at_final | 마지막 자리를 카메라로 본 시간(초) |
answers[].to.origin_frames, other_origins | 정답 자리에 있던 프레임 구간 · 그 외 거쳐 간 자리 좌표(미끼) |
answers[].from.visible_at_start | 평가 시작 프레임에 지금 자리가 보이는가(196행 중 40 True) — 보이면 "어디서 집을지"는 지각으로 풀리고, 되돌릴 곳은 여전히 기억 |
왜 이 형태인가. 260903에 설계한 Restore ② = "A에서 목격 → 못 본 사이 이동 → B에서 재목격 → 처음 자리로(정답 A, 미끼 B)"가 그대로 구현됐다. 클래스 유일 물체만 쓰여 정체(identity) 문제가 없고(
twin_nearby 전부 False, 후보 1), 같은 물체를 find가 묻지 않으므로 find와 독립이다(shares_answer_with 빈 값).5find는 어떻게 바뀌었나
| bcaf2815 | 609076c0 | |
|---|---|---|
| 행 | 589 (target 294 / distractor 295) | 590 (301 / 289) |
| multi | 54 | 91 |
| 내용 일치 | 525행(그중 query_id 재번호 18) · 삭제 64 · 추가 65 · GT 변경 1(train_8077__2 bowls 2→3) | |
| misplaced | no / wrong_surface / on_floor / not_moved 10 | not_moved 폐기 — 집으려다 실패해 제자리인 물체는 어느 kind로도 정직하지 않아 무질의 |
| 답 필드 | — | visible_at_start(685답 중 160 True: target 101 / distractor 59) · visible_px_at_start(≥50 160 · ≥200 122 · ≥500 82) |
변경 유형 ① 쌍둥이 단일 → "all the X" multi (추가 65행 중 40행)
OLD find:train_3426__1:q03 find_distractor · single · "Pick up the watch"
answers: watch_…_3_0_2 @ room 2 / stand
NEW find:train_3426__1:q03 find_distractor · multi · "Pick up all the watches" (n_candidates 2)
answers: watch_…_3_0_2 @ room 2 / stand visible_at_start false
watch_…_1_0_7 @ room 7 / dining table visible_at_start false
같은 클래스 인스턴스가 여럿이면 하나만 묻던 것을 전부 묻는 형태로 바꿨다(어느 인스턴스든 정답 인정 → 전부 집기). 그래서 find multi 91행은 전부 같은 클래스 묶음이고, restore multi(74/79가 서로 다른 물체)와는 성격이 다르다 — 사용자 결정: 그대로 쓴다(twin-set).
변경 유형 ② 픽 실패 물체 정리
REMOVED find:train_2169__1:q00 find_distractor multi "Pick up all the butter knives" [not_moved, no]
ADDED find:train_2169__1:q00 find_target single "Pick up the butter knife I moved earlier"
→ 집기 실패한 칼을 빼고, 로봇이 실제로 옮긴 칼만 target으로
변경 유형 ③ 되돌려 놓은 물체도 target (README 신설 문단)
로봇이 옮겼다가 다시 제자리에 놓은 물체는 마지막 위치가 시작 위치와 같다. 지시문("dresser에 놓아라")만 외운 에이전트는 틀리고, 두 번째 이동을 본 에이전트만 맞는다 — target에 포함됨(misplaced: no, 이력은 subtasks.json의 settled_xyz로 확인).
query_id는 릴리즈 간 안정적이지 않다.
qNN은 편 안의 순번이라 행이 추가·삭제되면 다른 질의에 재배정된다(find 18 · restore 38). 결과를 옮길 때는 (가족, 편, 질의문)으로 매칭해야 한다 — 우리 델타 도구가 이미 그렇게 한다.6task 격자에 어떻게 들어가나
| 가족 | Direct ① 내가 한 것 | Direct ② 보기만 한 것 | Direct ③ hidden | Stateful ① (①의 multi) | Stateful ② (②의 multi) |
|---|---|---|---|---|---|
| Find | find_target single 265 | find_distractor single 234 | hidden 답 포함 68 (①②S와 겹침 → 본표 제외, 여기서만 셈) | find_target multi 36 (twin-set) | find_distractor multi 55 (twin-set) |
| Restore | restore_target single 243 | restore_distractor single 196 ← 이번 추가 | from hidden 56 (①S 안) | restore_target multi 79 | 0 |
Restore Stateful ②가 비어 있는 이유. restore multi는 같은 편의 single 행 2–3개를 접어서(fold) 만드는데(stats
merged_multi 34), 이 fold가 restore_target에만 돌았다. 재료는 충분하다: distractor 행이 2개 이상인 편 45/47, first-origin 2개 이상인 편 42. 데이터팀에 같은 fold를 distractor에도 돌려 달라고 요청하면 렌더 없이 ≈40행이 생기고, 우리는 47편 메모리를 재사용해 읽기만 하면 된다(≈$10).평가에 미치는 의미
- 재측정 범위(사용자 결정 9/6: v1.1은 restore 전용): find 본표는 v1.0 결과(e987b40f, 589행) 그대로 — 이 데이터는 restore를 위해 만든 것이고, find는 옮겨진 물체 때문에 오히려 영향을 받을 수 있다(실측: 같은 47편 find에서 flash-3.7 vis-pure가 v1.0 메모리 .656 → v1.1 메모리 .571). restore는 47편을 v1.1 영상으로 메모리부터 다시 만들어 345행(신규 196 포함)을 재고, 무변경 53편은 v1.0 결과를 새 GT로 재채점한다.
- 행동 로그 오라클(textlog)은 Restore ②를 모른다: subtasks.json은 로봇이 한 일만 담으므로 "남이 옮긴 것"은 없다. 실측(flash-3.7): D① .948 → D② .031, 기권 84%. 원문: "The action history does not contain any mention of a soap bottle … cannot be determined from memory". 이것은 결함이 아니라 ②열이 "관찰 증거"열이라는 정의의 귀결.
- 텍스트 메모리 vs 이미지 메모리(flash-3.7, D①→D②): rf-v2 .533→.077, tagmem .528→.128, vis-pure .458→.292, frames .373→.169. writer가 "로봇이 안 만진 물체의 위치 변화"를 노트에 안 남기는 것이 원인 후보. 8B 오픈 모델은 D② 최고 .07.
- 가시성 ablation은 이제 정식 라벨(
visible_at_start)로 다시 뽑을 수 있다(pseudo-label 표 교체).
7재측정 현황 (2026-09-06 KST 새벽 기준)
| 모델 | 상태 | 실비 |
|---|---|---|
| qwen3vl-8b · molmo2-8b · cosmos-r2-8b (자체 서빙) | 완료·병합(각 2h10m / 2h37m / 5h24m) | $0 |
| gemini-3.7-flash | 완료·병합(3h45m) | $59.80 |
| gpt-5.6-luna · claude-sonnet-5 (7전략, restore 전용) | 완료·병합(3h09m / 4h32m, 선점 1회 후 재개) — 캠페인 종료, 결과 리포트 260906-restore_v11_grid.html | $5.74 + $74.13 |
| gemini-3.6-flash | 보류(사용자 결정 9/6) — 필요할 때 tmp/v11/submit.sh로 재제출 | (≈$88 절감) |
병합은 restore 전용(merge_v11.py, 모델마다 전략당 518행 검산; D1 잡이 함께 잰 find 행은 find_v11_rows로 보관만). 격자 표: restore = python tmp/hf_check/grid_v1final.py v11 restore, find = grid_v1final.py delta nohidden(v1.0 그대로).
8다룰 때 주의할 점
- 로컬 경로:
~/datasets/scene-mem-benchmark-v1_609076c0/— eval 전체 + 47편 실물(22.6 GB) + 53편은 e987b40f로 symlink. 옛 릴리즈 bcaf2815(restore 322)·e987b40f(find 589)는 그대로 있음. - steps_emitted = n_steps − 2는 v1부터 그랬고 v1.1도 같다. 질의 프레임 = steps_emitted − 1.
- n_hops는 "옮겨진 횟수"(README 정정). same_room이면서 n_hops 2인 행이 있다.
- 방 이름은 데이터에 번호만 있다(방 4, 6 …). 우리 채점기가 질의 행의 표면·가구 근거로 이름을 유도하므로, 주입하는 근거 행 집합이 바뀌면 유도 결과가 달라질 수 있다(재채점은 두 가족 행을 전부 주입해 러너와 맞춤).
- 영상은 전체 재인코딩이라 "바뀌지 않은" 프레임도 픽셀값이 미세하게 다르다. 이동 여부는 final.npz의 포즈나
meta.relocated로 확인. - 질의 없는 이동 물체 81개도 영상에서는 옮겨져 있다 — 메모리 writer가 "왜 저게 저기 있지"를 기록할 수도 있는 순수 방해 요소.
원천: tmp/reloc47/relocation_json/(사용자 tgz), tmp/hf_check/{inspect_latest,match_609076c0,explainer_v11_data}.py, tmp/reloc47/{eval_match,explainer_data}.json. 분석 로그 claude/260905/analysis-v11_release_delta.md, 앞선 리포트 260905-v11_release_delta.html.