FlashDexRetarget TACO/Sharpa 전체 학습 재개와 USD 누락 복구

TL;DR

FlashDexRetarget TACO/Sharpa 210-clip 전체 학습(500M env steps) 재개: USD 117/117 누락 발견·복구 후 job 203738 RUNNING, 성공률 결과는 아직 없음

210

clips 유지

65,310

frames

117/117

USD 누락→복구

500M

env steps 목표

1 배경 / 목적

1-clip smoke(201435 계열, 199,936 steps)는 success_ever@1.0 = 0/1 trajs로 성능 판단 불가. TACO 232 retarget(job 201580, 02:01:09, 229 clips 중 210 유지; 제외: obj_offdisk_untouched 8, first_unsupported 10, wrist_acc_spike 1)의 motion.pt(119 MiB)로 전체 학습이 필요했다.

기존 한계: 이전 floating Sharpa 결과 — H2O moved 성공 322/829, TACO 0/230. 얇은 도구/초기 접촉 문제 미해결.

2 작업 내용

Launcher: scripts/train_fdr_taco.sbatch Sharpa, 2,048 envs, 500M env steps, seed 42, GPU replay buffer 50M rows eval/checkpoint 매 20M steps, save_replay_buffer=true B200 1장 / CPU 12 / RAM 192GiB / core-own / 48h, image nvcr.io/nvidia/pytorch:25.04-py3 FDR commit cf80267 (clean), WandB offline, USR1 → checkpoint-and-exit (자동 resubmit 없음) tools/check_fdr_assets.py: motion이 참조하는 object USD 존재/비어있지 않음 검사 (누락 시 exit 1) scripts/prepare_fdr_usd.sbatch: 누락 USD만 변환 후 재검사

Worker에 libGL/libXt/libvulkan/libGLU/libxml2 등이 없어 login에서 deb를 dpkg-deb -x로 개인 경로(tmp/fdr/runtime)에 추출해 LD_LIBRARY_PATH로 사용. 시스템/shared cache 미수정.

3 결과

Job	상태	원인/비고
203718	직접 취소	Isaac Sim 초기화 시 libGL.so.1 / libXt.so.6 누락
203725	FileNotFoundError (Slurm은 COMPLETED)	objects/035/.isaac_usd/object.usd 없음. Isaac shutdown이 예외를 exit 0으로 덮음
203736	FAILED	converter libxml2.so.2 누락 (검사가 exit 1 보장, 후속 학습 미실행)
203752	COMPLETED 00:03:04	117개 USD 변환·검증 (Verified 117 referenced object USD files)
203738	RUNNING (n34)	2,048 env 초기화 약 17분, 1.6–1.9 it/s, GPU HBM ≈131.7GiB, host ≈16.6GiB, OOM 0

정정: 전처리 201580은 USD converter가 library 누락으로 실패한 뒤 SDF로 진행했는데 "USD까지 완료"로 오판. 필요한 USD 117/117 누락. motion.pt/retarget 자체는 유효.

첫 train 지표 env step 499,712 (iter 244); Object PCD reward right 0.0055 / left 0.0050은 reward이지 성공률이 아님. 예상 소요 36–44h, EndTime 2026-10-22 01:44:49 UTC. 60h 연장은 scontrol update Access/permission denied로 거부.

4 Takeaway

Slurm COMPLETED/exit 0만으로 성공을 판단하면 안 됨 — 입력 asset 사전 검사가 필수. 전처리 stdout의 중간 단계 에러 확인 누락이 학습 2회 낭비로 이어졌다. 성능 개선 주장은 첫 eval 이후에만 가능.

5 Next Steps

미해결

48h 내 미종료 가능성(예상 36–44h) → USR1 checkpoint 후 별도 재개 필요. FDR 지표(시간 평균 object pos/orient)와 Ego2Robot ADD-S는 직접 비교 불가.

첫 eval의 success_rate_obj_1.0, success archive motion 수, checkpoint의 flashsac.pt/replay_buffer.pt/resume_state.json 확인.