scene-mem v1 — 858 Full Build 완료 + 무결성 검증

TL;DR

SLURM job 3532 (CPU-only sbm) COMPLETED — 858 scenario, Elapsed 01:36, ExitCode 0
train 2604 / val 189 (총 2793 sample, 4.2G) — val-fraction 0.067 일치 (93:7)
무결성 게이트 3종 image_mismatch / brace_leak / missing_img_files 전부 0
turns/sample median 20 (13~26), distinct target_atomic 39종 전부 PnP-grounded → SHIP-READY
다음: 사용자가 sbm으로 LoRA SFT 제출 → rollout memory_success로 V1 퀄리티 판정

2604

train

189

val

img mismatch

brace leak

turns (med)

4.2G

dataset

1배경/목적 (왜)

공식 MemER(Qwen3-VL-4B high-level subtask emitter)를 scene-mem-benchmark(Keh0t0, RoboCasa365 기반 858 scenario)에 맞춰 LoRA fine-tune → Pi0.5-RoboCasa365와 cascade하는 것이 목표. 기존 Tier-1(vocab swap) + Tier-2(multi-turn) 2-stage가 사용자 요구에 안 맞아 전면 재설계, scene-mem-only single-stage 빌더를 subagent-driven으로 구현(Tasks 1-10 완료).

Task 11 게이트: 858 전수 build를 CPU-only SLURM job으로 실행 → 무결성·통계 검증 → LoRA 학습 제출 가능 상태인지 확인하는 단계. 이 리포트는 그 빌드 파트의 결과.

2작업 내용 (어떻게)

로그인 노드 장시간 점유 회피(클러스터 §7)를 위해 빌드를 CPU-only sbm job으로 제출. 빌더는 8-worker ProcessPool, 빌드 결정성은 hashlib.sha256 per-scenario RNG로 보장(PYTHONHASHSEED salt 제거 — 리뷰가 잡은 cascade-critical 버그 3건 중 하나).

# 제출 (CPU-only override) sbm "... python scripts/build_scene_mem_v1.py --num-workers 8" \ -J scene_mem_v1_build --gres=gpu:0 -c 16 --mem 64G --qos=extra --time=04:00:00 # 검증 (handoff §8 Step B) - <image> placeholder 수 == images 배열 길이 (per-sample) - assistant.current_subtask 에 미치환 brace 없음 - 모든 이미지 절대경로 실존 - turns/target_atomic 분포

빌더 데이터 플로우: process_scenario → resolve_atomic_sequence(14-slot 치환, RoboCasa365 vocab grounded) → build_user_prompt/build_system_prompt(memer_eval.contract 동일 함수 = deploy 분포 일치) → wrist(top)+agentview_left(bottom) 320×360 stack → scenario-level split.

3결과 (수치)

항목	값	판정
job 3532	COMPLETED, Elapsed 01:36:15, ExitCode 0:0	OK
train / val / total	2604 / 189 / 2793	핸드오프 예상치(~2.8K/~200) 일치
image_mismatch	0	✅ MUST be 0
brace_leak	0	✅ MUST be 0
missing_img_files	0	✅ MUST be 0
turns/sample	min 13 / med 20 / mean 19.7 / max 26	multi-turn 정상
distinct target_atomic	39종 (58 vocab 부분집합)	scene-mem 858 = RoboCasa365 composite 일부
dataset 크기	4.2G (train 92MB / val 6.6MB / split 31KB)	—

target_atomic top-10 (전부 PnP-grounded)

270 Place the baguette on the oven of the toaster oven 218 Pick the mug from the counter and place it in the microwave 213 Pick the bowl from the counter and place it in the cabinet 170 Place the fish on the rack of the oven 160 Place the bagel on the oven of the toaster oven 152 Pick the mug from the counter and place it in the sink 152 Pick the bowl from the counter and place it in the sink 132 Pick the steak from the counter and place it in the freezer 129 Pick the peach from the counter and place it in the cabinet 105 Pick the cup from the counter and place it in the microwave

빌더 파이프라인이 858 전수에서 image-placeholder 불일치 / brace 누수 / 이미지 누락 단 1건도 없이 통과. target_atomic이 RoboCasa365 vocab(oven/microwave/cabinet/sink/freezer 명사)에 정확히 grounded → Pi0.5 cascade 경로 확보.

4의미 (Takeaway)

학습 입력 분포가 deploy(memer_eval.contract)와 동일 함수로 생성돼 분포 갭이 제거됐고, atomic이 RoboCasa365 vocab에 grounded됨이 실데이터 858 규모에서 확인됐다. Smoke(5 scenario) → full(858)로 스케일하면서 무결성이 깨지지 않았다는 것은 빌더 휴리스틱(14-slot resolution, FIFO frame-identity 추적, equal-chunk timing)이 전 scenario 분포에서 견고함을 의미한다. V1 LoRA 학습 제출 가능 상태.

판단

리뷰 게이트가 잡은 3건(action-verb 반대 emit / FIFO-evict stale label / hash-salt 비결정)이 모두 cascade-critical이었고 전부 구현 단계에서 차단됐다. 858 full-build 무결성 0-fail은 이 수정들이 실데이터에서 유효함을 사후 검증한 것. 남은 한계(§5)는 전부 design에서 의도·문서화된 accepted V1 한계이지 구현 결함이 아니다.

5보완점 / 다음 (Next)

Step C — 사용자 실행 (billing·사용자 wrapper):

conda activate memer sbm "bash scripts/finetune_scene_mem_v1.sh" --gres=gpu:4 -c 32 --mem 800GB --qos=extra

학습 후 scene-mem-benchmark rollout으로 memory_success 측정 → V1 퀄리티 판정 → V2 여부 결정.

V1 accepted 한계 (V2 후보, 사용자가 rollout 보고 결정 — 지금 보류)

한계	내용	V2 방향
template-level grounding	filled-string-level 아님 — freezer/oven slot 값이 scene-mem 메타에서 와서 Pi0.5 정확 nat_lang과 다를 수 있음	filled-string grounding (design Path C가 cascade 실패 시 재정렬 커버)
`_approx_note` 9건	freezer-family(MoveFridgeToFreezer 등), PackDessert, ice-cube — src_fixture default "counter"가 의미상 부정확	fixture-aware src 매핑
고정 default slot	{knob}=front left, {side}=top 등; non-target narration regex 파싱	메타 기반 동적 slot
equal-chunk atomic timing	scenario당 K test 비디오 재디코드, atomic 경계 균등분할 휴리스틱	VLM annotation, task_templates LLM paraphrase 대량생성

V2는 사용자가 V1 rollout 퀄리티를 직접 본 뒤 지시할 때까지 보류. V1은 파이프라인 검증 + rollout eval로 무엇이 중요한지 드러내는 단계.

관련: claude/260515/handoff-scene_mem_v1_state.md · plan-scene_mem_redesign.md · progress-scene_mem_v1_builder_impl.md