| 항목 | 결정 | 이유 |
|---|---|---|
| 답 형식 | find와 동일 {category, room, surface}; room 필수 | 클래스만 채점하면 내비게이션 목표(방)가 사라짐 — 사용자 지적 |
| 채점 | loc/place_set(GT=증거 인스턴스) + place_any(any instance)·class_ok·control_ok | find 카운터 채점 재사용, 계획서 any_instance_ok는 진단으로 |
| 질의 | 홀드아웃을 텍스트로 지명 'Put this hand towel away.' / multi 'Clear the countertop: …' / control 'Put this pen away.' | 홀드아웃은 컨텍스트 미등장 하위 카테고리라 이미지로 못 가리킴 |
| 질의 이미지 | 마지막 프레임 + 마지막 5 s 픽셀 누출 검사(≥200 px → leak 플래그, 헤드라인 제외) | find/restore와 동일 형식 유지 |
| 발화 | 들은 시점에 메모리 입력으로 주입 — textlog·frames 캡션·rf-v3·vis·tagmem ingest. blind 제외 | 로봇이 실제로 들었고 온라인 플래너도 받음; type3만 채워 find/restore/resume 바이트 불변 |
| 전략 | blind · textlog · frames-uniform · rollforward-v3 · rollforward-vis-pure (5) | rf-v2·tagmem 제외 (사용자 260907), 온라인 트랙과 동일 |
| 러너 | run_eval_routine.py (resume 골격, 컷 없음, 컨텍스트당 ingest 1회) | run_eval_v1은 find 전용 장치가 얽혀 있어 분리 |
| 어댑터 | pack_routine_sample.py(raw→contexts/type3 symlink) · build_routine_rows.py(plan+subtasks+evidence→행 5개) | 정식 build_routine_queries/pack_routine 오면 폐기 |
| 샘플 | train_1652__3000: D① 음식→침실 책상·천→부엌 바구니 + D② 수저→거실 소파, 4/4 clean | 3편 중 유일하게 D①·D② 둘 다 + 실패 유닛 0 |
~/datasets/routine_sample_260907/contexts/type3/eval/routine/queries.jsonl (direct×3, multi, control)sbm "bash scripts/run_routine_pilot.sh" --gres=gpu:0설계서 claude/260907/plan-routine_read_eval.md · 구현 계획 docs/superpowers/plans/2026-09-07-routine-read-eval.md