mg30_real_h50 720ep 추출 + DAVIAN MG_30 동일성 검증

TL;DR

State schema fraud 확인 및 해소: Keh0t0/robocasa_heldout_real의 features.names는 H50 표준이지만 값은 joint_pos[7]+gripper[1]+zero[8]. quat norm 2.85 (정상=1.0)
신규 스크립트 prepare_idm_heldout_dataset_h50compat.py — v0.1 HDF5 직접 읽어 16-dim H50 state 생성
720 ep 전체 추출 완료: 206,570 frames / 1.1 GB / wall 1h 5m. quat norm=1.0 전부 통과
DAVIAN MG_30과 동일 demo set 확인: starting-state hash 698/698 intersection (22 collision 동일)

720

추출 ep

206,570

총 frames

698/698

DAVIAN demo match

1h 5m

추출 wall time

1.1 GB

AV1 크기

1 배경 / 목적

Pi0.5 B0 baseline (real heldout 720 ep) 학습 중 state schema fraud 발견. Keh0t0/robocasa_heldout_real의 features.names는 H50 표준 16개 필드명을 쓰지만, 실제 저장된 값은 hyojinjang LeRobot v2.1 chain의 joint_pos[7] + gripper[1] + zero[8] 8-dim 데이터다.

dim	Broken (Keh0t0)	H50 표준 (MG_30)	차이
base_to_eef_pos	(-0.027, -1.045, -0.034) — joint_rad	(0.257, 0.017, 0.606)	완전히 다름
base_to_eef_quat	(-2.286, 0.029, 1.506, 0.686) norm=2.85	(-0.987, ...) norm=1.000	norm 발산
gripper_qpos	(0.478, 0.0)	(0.0206, -0.0205)	다름
base_pos	(0, 0, 0)	(1.2, -0.8, 0.7)	전부 zero
base_quat	(0, 0, 0, 0)	(0, 0, 0.7071, 0.7071)	norm=0

영향 범위: Pi0.5 B0/B2 학습 + IDM v2 (action+state) state supervision — 모두 재학습 필요. IDM state를 쓰지 않는 트랙(Latent-A/B/C, Pixel v2_8gpu action-only)은 영향 없음.

목표: v0.1 HDF5를 직접 읽어 올바른 16-dim H50 state를 생성하는 스크립트 작성 → 720 ep 추출 → DAVIAN MG_30과 동일성 검증.

2 작업 내용

① 신규 스크립트 (203 줄)

scripts/prepare_idm_heldout_dataset_h50compat.py:

v0.1 HDF5 raw obs 직접 읽음 (hyojinjang v2.1 chain 완전 우회)
16-dim concat: base_to_eef_pos[3] + base_to_eef_quat[4](xyzw) + gripper_qpos[2] + base_pos[3] + base_quat[4](xyzw)
Action: HDF5 actions (T,12) 그대로 — 이미 byte-identical to MG_30 확인
Video: HDF5 image (T,128,128,3 uint8) → LeRobotDataset.add_frame → av1 (libsvtav1)
LeRobot 0.4.4 LeRobotDataset.create 사용 → v3.0 layout 자동 생성
--demo_source mg_train 옵션으로 DAVIAN MG_30과 동일 train demo 선택

② Quat 순서 사전 검증

v0.1 HDF5 demo_0 frame_0의 base_to_eef_quat = [-0.992, -0.022, -0.125, 0.016] (norm=1.0). H50 reference 동일 값 [-0.992, -0.023, -0.126, 0.017]와 거의 일치 → v0.1 HDF5는 이미 xyzw, reorder 불필요.

③ 24-ep dry-run → 720 ep 전체 추출

# dry-run (24 ep, 1 ep/task) python scripts/prepare_idm_heldout_dataset_h50compat.py \ --hdf5_base /home/nas_main/minhopark/datasets/robot/robocasa/v0.1/single_stage \ --source_dir /home/nas_main/hyojinjang/DATA/robocasa_mg3000_droid_lerobot_20fps_v2_merged \ --output_dir tmp/idm_heldout_h50_dryrun \ --num_eval_per_task 1 # 전체 720 ep python scripts/prepare_idm_heldout_dataset_h50compat.py \ --output_dir /home/nas_main/taewoongkang/Dataset/robocasa/mg30_real_h50 \ --demo_source mg_train --mg_train_size 30

3 결과 (수치)

추출 결과

720

episodes

206,570

frames

1.1 GB

AV1 128×128

1h 5m 16s

wall time

5.44 s/ep

av1 bottleneck

State 검증 (3-way 비교, CloseDoubleDoor ep0 frame0)

dim	NEW h50compat	DAVIAN MG_30	broken Keh0t0
base_to_eef_pos	(0.257, 0.017, 0.606)	(0.243, -0.012, 0.592)	(-0.027, -1.045, -0.034)
quat norm	1.000	1.000	2.85 ❌
gripper_qpos	(0.0206, -0.0205) byte-✓	(0.0206, -0.0205)	(0.478, 0.0)
base_pos	(1.2, -0.8, 0.7) byte-✓	(1.2, -0.8, 0.7)	(0, 0, 0)

DAVIAN MG_30 전체 비교

항목	우리 (mg30_real_h50)	DAVIAN MG_30	일치
codebase_version	v3.0	v3.0	✓
total_episodes	720	720	✓
total_frames	206,570	206,570	byte-exact ✓
total_tasks	181	181	✓
fps	20	20	✓
state.names (16-dim)	H50 schema	H50 schema	✓
Demo intersection (hash)	698/698 ⭐ (22 collision 동일)		same demos

24-task 전수 검증

720/720 ep 모두 통과:

quat norm = 1.0 (eef + base 양쪽)
base_pos.z = 0.7 (kitchen floor height, 모든 task 일관)
gripper_qpos[0] = +0.0206 (Panda resting position)

미세 차이 (학습 영향 없음)

ep_index 순서 다름 (우리 ep 0 = demo_297, DAVIAN ep 0 = demo_1161)
task_index 번호 일부 swap (같은 description, 다른 정수)
drawer left/right 라벨링 4/181 desc 미세 차이

위 차이들은 학습에 영향 없음 — model은 (image, description, action) 학습, ep_index는 단순 indexing.

4 Takeaway

Schema fraud 완전 해소: v0.1 HDF5 직접 추출 → hyojinjang chain 우회 → H50/MG_30 표준 16-dim state 자동 생성.

DAVIAN MG_30과 동일 데이터셋 확보: 75% SR ref run의 source와 698/698 identical demo set. Pi0.5 재학습 시 같은 조건에서 비교 가능.

프로젝트 의미

이번 추출로 MG_30 train data의 "clean" 버전이 생겼다: /home/nas_main/taewoongkang/Dataset/robocasa/mg30_real_h50/. 이 데이터셋이 두 가지 용도로 사용된다: (1) IDM v2 Pixel 학습 source (quat sign 보존), (2) Pi0.5 B0 재학습의 real baseline. 두 용도 모두 같은 파일을 그대로 쓸 수 있어 버전 관리 단순화.

기존 B0 실험(17.2% SR)의 한계가 eval pipeline 버그 + state schema fraud의 복합 원인이었음이 확정됨. 이 데이터로 재학습하면 DAVIAN 75% SR과 동일 조건이 된다.

5 Next Steps

즉시

HF push: Keh0t0/robocasa_mg30_real_v2 (private). README = H50 reference 미러
Pi0.5 B0_ref 재학습: DAVIAN ref config (chunk_size=50, n_action_steps=25, eff batch 64, torchcodec). 4 GPU, ~6h. 기대 SR ~75% (현재 17.2%)
IDM v2 Pixel 학습: 이 데이터셋을 학습 source로 — 별도 카드 참조

미해결 한계

720 ep 전체에서 broken demo가 있을 가능성 — quat norm 검증은 통과했지만 비디오 품질 미확인
Pi0.5 B0_ref 학습 중 torchcodec file-based v3.0 reader가 episode_index metadata를 정상 파싱하는지 첫 학습 시 확인 필요