scene-mem v2 데이터 정확화(Sub-project A)

← index

TL;DR

사용자가 B1 렌더 영상에서 결함 보고: 타이밍 어긋남 + 빠진 동작(닫힌 fixture 앞 암묵 Open 누락).
근본원인: V2 분해가 robocasa-365 정적 AST + 명령문 regex로만 만들어져 에피소드 실제 초기상태에 비-grounding. robocasa는 초기상태 랜덤 샘플.
Scope 분해: A(초기상태 grounding fix, 결정론·rollout 무관) 정식 설계 완료 / B(gold 타이밍 재수집)는 demo-스파이크 게이트 후속 spec.
격리 governance: HF·baseline 불변, _oracle 별도 트리·별도 ckpt, B1 side-by-side 입증 후에만 사용자 결정으로 병합.

A 설계+plan

완료 (commit bae1533)

Task 0–6

bite-sized TDD

88.36%

baseline B1 (불변·비교기준)

robocasa-main

사용 env (robocasa 금지)

1배경/목적 (왜)

B1 시각 뷰어로 데이터 확인 중 두 결함: (1) place 중인데 다음 subtask 명령이 먼저 나옴(타이밍), (2) 닫힌 cabinet/토스터 앞에서 로봇은 영상에서 알아서 여는데 그 "Open" fine-subtask가 분해에 없음(빠진 동작).

근본원인: V2 분해는 소스-충실하나 이 에피소드의 실제 초기 물리상태 차원이 빠져 있음. robocasa는 에피소드마다 문 개방/명령문을 랜덤 샘플하므로 정적 추정이 어긋난다.

2작업 내용 (어떻게)

brainstorming → spec → writing-plans 전 과정 수행. 데이터 레이아웃을 코드/소스 직접 검증(추측 배제):

scenario env/(env_args+unified_model+ep_meta+start_state.npy)로 초기상태 결정론 복원 가능.
프레임별 trajectory 부재 + _subtasks_pulled_log 빈 디렉토리 + eval_runner=rollout → 기존 frozen MP4 결정론 relabel 불가.
composite _check_success = 독립 conjunct들의 AND = 각 conjunct가 fine-subtask 완료 술어.
robocasa-365 composite human demo(hdf5) registry엔 있으나 로컬 미확보 → B는 게이트.

§C2 — 단일 양방향 결정론 per-door 상태기계 (사용자 교정 "더 넓혀라"+"이미 그 상태면 하지마라" 반영): door step을 합성이 아니라 (추적 현재) ≠ (source 요구)일 때만 transition emit, 같으면 0. → 누락 Open 합성 / 이미-열림 suppress / 잘못된 명령 교정 / scenario-scoped 연속 / 측정불가 = needs_review(추측 0). 폭 = 모든 doored fixture open/closed.

3결과 (산출물)

산출물	경로 / commit
설계 spec (§1–§10 + 격리 governance)	`docs/superpowers/specs/2026-05-18-scene-mem-gold-pipeline-A-design.md` · `4c60959→963a040`
구현 plan (Task 0 스파이크 + Task 1–6, bite-sized TDD)	`docs/superpowers/plans/2026-05-18-scene-mem-gold-pipeline-A.md` · `bae1533`
워크로그	`claude/260518/plan-scene_mem_gold_pipeline.md`

미검증 가정 1건(set_state_from_flattened 직후 sim step 없이 is_closed가 초기값 반환)을 plan Task 0 스파이크로 명시 차단. 실패 시 sim.forward() 보정 또는 spec 재논의.

4의미 (Takeaway)

사용자가 영상에서 본 "빠진 동작"은 V2의 "추측 0" 원칙은 지켰으나 초기상태 차원이 빠져 생긴 구조적 결함. A가 이 차원을 source-of-truth 술어로 메움. "gold=정책 rollout(B2 의존)" 초기 우려가 실측으로 A는 rollout 무관·결정론임이 드러나 우선순위 명확화. 격리 governance로 검증된 baseline(88.36%)을 안전하게 side-by-side 비교.

5다음 (Next)