FlashCHORD TACO/Sharpa 1-sample pilot 파이프라인

TL;DR

NVIDIA V2D/FlashCHORD로 TACO brush 1 sample(262 frames, 30fps) 전처리→Sharpa IK→smoke→full(250,003,456 steps) 학습·평가 체인 구성; 정책 성능은 아직 미검증

262

frames

250M

full env steps

4096

worlds (full)

실패 후 수정

1 배경 / 목적

사용자 승인으로 NVIDIA video_to_data(V2D)를 사용해 robot data 생성 가능성을 TACO/Sharpa sample 1개로 시험. 범위: source retarget, physical policy 학습, 보조 없는 평가. 기존 FDR job 203738 등은 건드리지 않음.

2 작업 내용

Source: tmp/video_to_data (commit: tmp/chord/source_commit.txt), 객체 035(tool), 024(target) Raw: /home/nas_main/datasets/robot/TACO/fdr_raw_sample232 (read only), MANO는 기존 파일 symlink venv: tmp/chord/venv (upstream uv.lock, --extra train --extra dev) tmp/chord/preprocess-venv (FDR site-packages read-only 상속 + pin/pin-pink/daqp/manotorch/chumpy/usd-core 26.5) scripts/prepare_chord_taco.sbatch : loader → Sharpa IK → support reconstruction → Parquet 검증 scripts/train_chord_taco.sbatch smoke(64 worlds/4096 steps) | full(4096 worlds/250,003,456 steps, 1 GPU, CPU 8, 96GiB, own, 24h) scripts/eval_chord_taco.sbatch : 64 worlds, frame 0부터, object assistance 없음 → metrics.json + object_trajectories.parquet scripts/render_chord_taco.sbatch : 600-frame headless MP4 (평가와 분리)

3 결과

Job	상태	비고
204615	FAILED	support reconstruction에서 `No module named pxr` → usd-core 설치
204625	전처리 성공	262 frames, 2 objects, support surface 1개
204626	FAILED	Hydra가 `sequence_id=.../robot_name=...`의 '='를 override로 파싱 → 값 quoting
204647 smoke	PENDING (AssocGrpCpuLimit)	GPU 실행 미검증
204649 / 204650 / 204651	대기 (afterok)	full 학습 / 정량 평가 / MP4

생성 데이터 검증: wrist (262,3), finger joints (262,22), object pos (262,2,3), quat (262,2,4), 전부 finite. 이는 물리적 성공을 의미하지 않음.

4 Takeaway

V2D → Sharpa 입력 생성까지는 동작 확인. 정책 성능 주장 없음. 이 pilot은 per-sequence expert 1개이며 FDR 210-clip policy나 완성된 LeRobot dataset이 아님. Floating-hand 결과는 arm 장착 feasibility를 보장하지 않음.

5 Next Steps

미해결

smoke의 GPU simulation/EGL 렌더 호환성 미검증. replay-buffer resume은 upstream 기본 recipe에서 비활성.

smoke 성공 시 full→평가. sample/초기 상태/지표를 FDR과 정렬해 비교. Ego2Robot ADD-S, FDR 임계값, CHORD 지표는 서로 대체 불가.