RoboDojo 클러스터 구축 + π0.5 스모크/Open 평가

TL;DR

구축 완료: Isaac Sim 5.1 + Vulkan worker(nvcr.io/nvidia/isaac-lab:2.2.0 + NAS conda env). robodojo.sh doctor 14 pass / 0 fail, 실행 가능 태스크 54개
스모크: job 175462 stack_bowls 1 에피소드 success 1/0, score 100 (9분 08초)
π0.5 Open 8태스크×10ep: 평균 2.5%(2/80) — 논문 1.67%와 같은 바닥 범위. Open 차원은 현재 정책에 바닥 효과라 명세 추종 비교 무대로는 부적합

14/0

doctor pass/fail

9m08s

1 ep 소요

2.5%

π0.5 Open (2/80)

1.67%

논문 π0.5 Open

1 배경 / 목적

RoboTwin은 장면=태스크라 명세 추종을 검증할 수 없었다. RoboDojo는 Open 차원(학습 기술을 새 명세로 재조합, 8태스크)과 agent ICL 비교 대상(RoboDawn, RoboICL, RoboProbe)이 있어 다음 연구 무대 후보다. 클러스터에서 도는지 스모크로 먼저 확인했다.

2 작업 내용

코드: ~/repos/Robotics/RoboDojo (공식, depth 1; 서브모듈 IsaacLab, cuRobo, XPolicyLab) 시뮬 env: scripts/install.sh --from conda → conda env RoboDojo (py3.11, torch 2.7.0 cu128, isaacsim 5.1.0, IsaacLab 2.3, cuRobo) 정책 env: XPolicyLab/policy/Pi_05/install.sh → openpi/.venv (uv) Assets 39 GB: 공식 init_assets.sh (git sparse+LFS) → .cache/robodojo_assets_repo symlink π0.5 seed-0 ckpt 12 GB: huggingface_hub.snapshot_download (git lfs pull은 39분간 진행 없어 중단) worker: --container=nvcr.io/nvidia/isaac-lab:2.2.0 (Vulkan/드라이버 운반) + NAS conda env 스모크: RoboDojo/_smoke/smoke_pi05.sh [task] (sbm, 1 GPU)

해결한 문제

시도	문제	해결
설치	IsaacLab이 cmake 없으면 `sudo apt` 시도	env에 `pip install "cmake<4"`
1	`--policy-env`에 `.venv`를 넘겨 `.venv/.venv` 탐색	`--policy-env uv`
2	정책 서버 스크립트가 conda base python으로 yaml 읽음(base에 pyyaml 없음)	`setup_eval_policy_server.sh:30`에 `YAML_PYTHON` override 1줄 로컬 패치
3	`Assets/Robots/x5/curobo.yml` 없음	`utils/update_embodiment_config_path.py` 실행
4	컨테이너에 ffmpeg 없음	imageio-ffmpeg 정적 바이너리 7.0.2(libx264)를 `RoboDojo/bin/ffmpeg`로 링크

3 결과

스모크: job 175462 stack_bowls success 1/0, score 100, 9분 08초. Isaac Sim 5.1 + Vulkan(드라이버 580.95) worker에서 정책 서버 연결, 3캠 mp4와 _result.json 저장, head 프레임에서 그릇 3개가 쌓인 것 확인.

π0.5 Open 8태스크 × 10 ep (seed-0 ckpt, joint, job 175580~175587)

task	성공	소요
general_pickup	2/10	17:29
align_blocks	0/10	10:46
classify_objects_by_language	0/10	30:36
pick_from_conveyor_by_image	0/10	20:39
pour_by_language	0/10	40:42
solve_equation	0/10	14:38
stack_blocks_by_language	0/10	12:33
store_tools_in_toolbox	0/10	26:03
Open 평균	2.5% (2/80)	논문 1.67%

4 Takeaway

RoboDojo를 sbatch로 돌릴 수 있고, 클러스터 평가가 논문 수치와 일관(2.5% vs 1.67%, n=10/태스크). 같은 인프라를 agent_icl(RoboDawn, RoboICL 재현)과 공유 가능하며, XPolicyLab에 LingBot_VA, DreamZero, FastWAM이 연동돼 WAM 계열 비교가 쉽다.

Open 차원은 현재 정책들에 바닥 효과 — 명세 추종 차이를 재려면 실행 난이도가 낮은 태스크나 우리가 만든 같은 장면 변형이 필요하다.

5 Next Steps

Zero-WAM 정책 어댑터 작성(XPolicyLab 형식) → 별도 카드 261006-robodojo_zerowam_adapter
RoboDojo 35태스크×100 데이터의 ZW 학습 형식 변환 가능성 검토 → 261006-robodojo_data_conversion_plan
바닥 효과를 피할 평가 무대(쉬운 태스크 / 같은 장면 변형) 선정