Routine(type3) 정식 데이터 검수 — HF e02c1f3d (v1.2)

1 배경 / 목적

Routine 가족은 지금까지 임시 어댑터 + 파일럿 3편(260907)으로만 관통돼 있었다. 데이터팀이 정식 릴리즈(Keh0t0/scene-mem-benchmark main, 커밋 e02c1f3d, 2026-09-11 05:47 UTC, "v1.2: the routine family is new")를 올렸으므로 본 측정 전에 (1) 규격이 설계서와 어디서 다른지 (2) 행·정답·규칙·쌍둥이 정합 (3) 하네스가 그대로 먹는지 (4) 질의 시점 누출을 잰다.

2 이 task는 무엇이고 어떻게 재는가

2-1. 컨텍스트(type3) — 집의 정리 규칙을 보여 주는 영상

한 편은 한 집에서 규칙 2–3개(물체 상위 클래스 → 수납처 클래스, 값은 무작위: "수저 → 소파")를 보여 준다. 클래스 6종(FOOD·DISH·CUTLERY·GADGET·CLOTH·TOILETRY), 수납처 9종. 규칙마다 사용자가 frame 1에 "Put the food from the countertop on the side table."처럼 시키고(클래스·수납처는 말하지만 방은 안 말함), 로봇이 4유닛을 옮긴다(실패 유닛 71/426 보존). 40편에는 로봇이 옮기지 않고 지나가며 본 규칙(observed, D②)이 1개 있다 — 증거 3물체가 처음부터 수납처 위에 있고 pass-by 세그먼트·max_px가 기록돼 있다. 각 클래스의 홀드아웃(컨텍스트에 안 나온 하위 카테고리: 토마토·손수건·알람시계·스프레이…)이 출발 테이블 위에 처음부터 놓여 있고 로봇은 건드리지 않는다.

Figure 1. train_1102__7832 (self FOOD→SideTable, observed GADGET→Sofa). 상단: 시작 자세(거실) → 부엌 조리대(토마토·알람시계 홀드아웃과 음식) → 지나가며 소파 위 휴대폰·리모컨을 봄(관찰 규칙). 하단: 같은 순간 exo2 → 마지막 프레임 = 질의 이미지: 사과를 사이드테이블에 막 놓은 장면(exo1) · wrist 45k px → 증거 누출.

2-2. 질의(eval/routine) — 컨텍스트 끝(states/final.npz)에서

정식 채점(데이터팀): scoring=result — 실행 후 정답 물체 전부가 각자 receptacle_class의 어느 인스턴스 위(support_of) 또는 안(바구니)에 있으면 성공(routine_judge.judge). 쌍둥이(twin_id, 216행/108쌍)는 둘 다 맞아야 pair. budget_steps·oracle은 null(미실행; 계획은 max(400, 1.5×oracle)). 분석 축: evidence_source self/observed · n_rules 2/3 · twin_row · holdout_cls · receptacle_class · n_answers_multi.

우리 read-track(260907 결정): find와 같은 답 {category, room, surface}+abstain. 헤드라인 loc_set/place_set(GT = 증거 인스턴스의 방+수납처), 진단 place_any(어느 인스턴스든)·class_ok, 쌍둥이 pair_ok, leak_last_frame 행은 헤드라인 제외. 발화는 들은 시점에 메모리 입력(textlog·frames 캡션·rf/vis ingest).

3 검수 결과

3-1. 규모·분포 (README = stats = index, 전부 일치)

홀드아웃 10종(Spray_Bottle 39 · Hand_Towel 36 · Alarm_Clock 35 · Tomato 24 · Bread 22 · Mug 19 · Spoon 13 · Fork 11 · Plate 8 · ButterKnife 7), 출발 테이블 countertop 150행 / dining table 64행, 정답 클래스 = 출발 테이블 클래스인 행 0/214(자명한 행 없음).

3-2. 정합성 — 통과

3-3. 어긋남 8건 (채점 불가 행은 없음)

3-4. 질의 시점 누출 (다운로드된 15편 30 direct 행; 100편은 자동 재측정 중)

Figure 2. 쌍둥이 train_1639__6874(CLOTH→Sofa, TOILETRY→ShelvingUnit, FOOD→Basket) / __6875(CLOTH→ShelvingUnit, TOILETRY→Basket, FOOD→Sofa). 같은 집·같은 질의·정답 전부 다름. 두 편 모두 마지막 프레임에 바구니(6874: 사과 13k px 누출; 6875: 사과 1.3k px)가 보인다.

3-5. 하네스 관통

3-6. 후속 질문 — "테이블에서 끝내면?" 시뮬레이션 (39편 78 direct 행)

프록시: 마지막 유닛의 at-table 구간(policy_phase approach/grasp/lift, 편당 중앙 302프레임)에서 다른 규칙 증거 물체의 최대 px.

3-7. 후속 — 시작 자세 이미지 실물 + 하네스 env 복원 시험

현재 이미지 프록시(routine_query_view_v2.py): 행별로 대상이 1.0 m 안인 픽 자세 중 가장 늦은 유닛의 nav 끝 프레임(베이스 도착, 팔은 아직 홈 자세)을 영상에서 꺼낸다 — 실제 시작 상태(팔 홈·그리퍼 열림)와 같은 모양. nav 끝→grasp 끝 베이스 이동 중앙 0.000 m·최대 0.032 m라 자세는 동일. 이미 옮겨진 물체가 최대한 사라진 상태라 첫 버전(최근접 자세, stale 125/214)보다 정합이 낫다.

Figure 3. 행별 시작 자세 프록시(중립 팔 자세, v3) 10행 × 3캠(exo1·exo2·wrist). 1–2행 = 누출 플래그 행(뒤로 식탁/수납처가 보임), 3–6행 = 조리대 앞 홀드아웃(토마토·알람시계·손수건·스프레이) 정면·stale 0, 7–8행 = 식탁(stale 1), 9–10행 = multi. 라벨 d = 대상까지 거리(m).

3-8. 테이블 복귀 릴리즈 수령 — HF main dc1c8144 (11:55 UTC, 미디어 39.95 GB)

데이터팀이 모든 컨텍스트 끝에 "출발 테이블로 복귀 후 정면 정지" 꼬리(중앙 25.8 s, final.npz에서 따로 시뮬·렌더해 이어 붙임)를 추가. subtasks.return_to_table/tail, meta.tail 신설, 질의 314행은 context_frames만 연장. 메타 검사 100/100(복귀 ok·테이블=홀드아웃 테이블·프레임 정합·기존 필드 불변).

Figure 4. 신판 마지막 프레임(=질의 이미지) 6편 × 3캠. 테이블 정면, 팔 홈 자세, 홀드아웃(토마토·스프레이·알람시계·스프레이병 등)이 시야 안. 1639__6874는 식탁 앞이지만 홀드아웃이 시야 밖(반대편).

4 Takeaway

5 Next Steps

원천: tmp/hf_check/inspect_e02c1f3d_routine.{py,log} · routine_leak_e02c1f3d.{py,json} · 로그 claude/260911/analysis-routine_dataset_e02c1f3d.md · 데이터 ~/datasets/scene-mem-benchmark-v1_e02c1f3d/