python scripts/recompute_stats_action_state.py --repo_id Keh0t0/robocasa_mg30_real_v2 실행 → 200-step smoke → sbmr 5 "bash scripts/launch_pi05_b0_ref.sh" --gres=gpu:4 -c 32 --mem 800GB --qos=extra.launch_pi05_b{0,1,2}_ref.sh + recompute_stats_action_state.py는 260508~260512에 짜인 뒤 커밋 없이 260606 디스크 정리 사고로 한 번 소실됐던 이력이 있다. 이번 복원분도 git status상 여전히 미커밋 상태 — 같은 사고가 반복되면 다시 날아간다.Robotics/X-WAM 완료 잡(260709), 38197은 타 사용자(jooyeolyun/svg-outpainting) PREEMPTED 잡(260710)으로 확인됨 — 둘 다 이 프로젝트 소속이 아니다. Phase 2 학습 실제 재개 여부부터 재검증 필요.lora_step6000.safetensors에서 auto-resume 가능한 상태 그대로 방치 중(문서 최종 갱신 44일 전). tail drift 등 추론 품질 이슈도 미해결.Keh0t0/robocasa_mg30_real_v2의 gripper stats q01[6] = -0.9252(정상 -1.000이어야 함) — unnormalize 시 full-close 명령 생성이 물리적으로 불가능해 close-task SR=0의 결정적 원인 후보. 재계산 스크립트로 수정 가능하나 아직 미실행.launch_pi05_b{0,1,2}_ref.sh 3종 + recompute_stats_action_state.py를 claude_reports HTML 기록 기반으로 재작성.
복원 전 자산 감사에서 지뢰 2개 발견: ① HF Keh0t0/robocasa_mg30_real_v2 stats.json이 아직 broken(action q01[0]=-0.8065, gripper q01[6]=-0.9252, 정상 -1.000) — fix는 로컬에만 적용되고 HF push 전에 소실됨. ② B1 데이터셋 후보였던 dreamgen_robocasa_p2는 observation.state가 전부 0이라 proprio=on config와 상충 → p3_<variant>_v2_droid로 교체.
검증: bash -n 3/3 PASS, train_bc CLI flag 34/34 존재(MISS 0), torchcodec LD_LIBRARY_PATH 패치 유/무 대조(패치 없으면 libnppicc.so.12 로드 실패 실증). video backend 벤치마크 회수: torchcodec 0.73ms < PyAV 12.8ms(17×) < decord(AV1 미지원, 동작 안 함).
reset_to → render → step 5회 PASS, H50 state key 5종이 레퍼런스와 일치. eval 하네스 end-to-end(ckpt 로드→policy→env→mp4→summary.json)를 생존 ckpt pi05_frappe_base로 smoke, PASS.
버그 3개 수정: (1) extract_proprio_state가 broken legacy schema(joint_pos+gripper+zero) 하드코딩 → --state_schema {h50,legacy,zero} 옵션 추가(기본 h50) — schema 불일치 시 "loss는 정상인데 SR만 0"이 되는 260520 pi05_delta 재현 위험을 방지. (2) 소실된 mapping_heldout_to_hdf5.json → build_task_hdf5_map.py 신규 작성, 24 task 매핑 재생성 확인. (3) run_pi05_eval_24tasks.sh의 GR00T-Dreams 경로 참조가 코드 이전으로 깨져있던 것 수정.
q01[6]=-0.9252(binary open/close인데 실제 -1.000이어야 함) — unnormalize가 -0.925에서 잘려 full-close 명령이 생성 자체가 안 됨. close-task SR=0의 결정적 원인 후보로 지목됨. recompute_stats_action_state.py --check로 drift 0.87 확인, 아직 실제 적용(HF push)은 안 함.
pi05_frappe_base)는 하네스 검증용이지 SR 측정용이 아님. b0/b1/b2 전용 ckpt는 260606 사고로 전부 소실, 재학습만이 답.
python scripts/recompute_stats_action_state.py --repo_id Keh0t0/robocasa_mg30_real_v2 실행 후 HF meta/stats.json 재업로드dreamgen_robocasa_p3_*_v2_droid) 데이터셋도 동일하게 stats 재계산EVAL_FREQ=999999 CHUNK=50 --steps=200)로 torchcodec 로드 / PI05PadStateProcessorStep 삽입 / v3.0 reader 파싱 3줄 로그 확인sbmr 5 "bash scripts/launch_pi05_b0_ref.sh" --gres=gpu:4 -c 32 --mem 800GB --qos=extra로 본학습(20K step, ~6h) 착수build_task_hdf5_map.py 등 신규 파일 커밋(재소실 방지)Robotics/X-WAM 완료 잡(260709) / 타 사용자(jooyeolyun/svg-outpainting) PREEMPTED 잡(260710)으로 확인 — 121일째 미수정. Phase 2 학습 실재 여부부터 재검증 필요.
lora_step6000 LoRA에서 auto-resume 가능하나 미실행 지속. tail drift 등 추론 품질 이슈 미해결.
| Job ID | 프로젝트 | 실행 명령 | GPU | 상태 | 실행 시간 | 노드 |
|---|---|---|---|---|---|---|
| 대상 6개 프로젝트 범위 내 어제(08-06) 제출된 SLURM 작업 없음 | ||||||
참고: 이 시각 클러스터에는 Robotics/MetaView(job 72911), Robotics/cosmos-policy(72438/72439), Robotics/X-WAM(72812), Robotics/ImageWAM(73810), Robotics/cosmos-policy(73839), Robotics/X-WAM(73845) 등 다수 잡이 RUNNING 중이나 전부 대상 6개 프로젝트 범위 밖. 이 5개 프로젝트(MetaView/cosmos-policy/X-WAM/MetaView-action/ImageWAM)에서만 어제~오늘 새벽 사이 30건 이상의 SLURM 작업이 제출됨.