flexpi env 구축 + ckpt 12.1 GB(+Wan VAE/T5 13 GB) 다운로드 → 50 task × 2 phase × 100 ep 스윕(8 GPU). 논문 수치 94.6%가 목표선.robotwin_3d 75.5 GB + text-embed 캐시 1,090 GB(!) — 기본 로더는 에피소드당 paraphrase 1개만 쓰므로 필요분(≤27,500 prompt)만 인코딩하면 회피 가능(검증 필요).assets(16 GB)+curobo, 어제 만든 robotwin env(sapien/mplib/curobo OK, 단 torch 2.8 → 재사용 불가), dreamzero의 B200 Vulkan 해결 노트.Flex-π(UW/AI2, 2026-08 코드 릴리스)는 RGB·3D pointmap·DINOv3·action을 하나의 Mixture-of-Transformers에서 공동 디노이징하는 6B world-action model(Wan2.2-TI2V-5B 백본). 한 체크포인트로 action-only(60 ms)부터 full joint(193 ms)까지 56개 regime을 런타임 플래그로 고른다. 질문은 "이걸 RoboTwin에서 실험할 수 있나" — 공개 ckpt 평가 재현과 학습 재현 두 갈래로 이 클러스터(B200 ×8, k8sl Slurm, 워커 = ubuntu:22.04 + driver)에서 무엇이 있고 무엇이 비는지 확인했다.
레포 문서(README, docs/{INSTALL,TRAINING,ROBOTWIN}.md), 설정(configs/data/robotwin.yaml, task/robotwin_unified_flex_3cam_384_1e-4.yaml, sim_robotwin.yaml), 런처(scripts/{train,eval}_flexpi_robotwin*.sh), third_party/RoboTwin/README.vendor.md를 읽고, 이 머신의 NAS 데이터셋·conda env·형제 레포(X-WAM/FastWAM/dreamzero) 노트와 HF 아티팩트 크기(HfApi.repo_info)를 대조했다.
| 아티팩트 | 크기 | 용도 |
|---|---|---|
flex-pi/flexpi-robotwin (step_048060 + config.yaml + dataset_stats.json) | 12.1 GB | 평가 재현 |
| Wan2.2 VAE + umT5-xxl 인코더 + DINOv3 (ModelScope/HF) | ~13 GB | 평가·학습 공통 (ActionDiT 2 GB는 학습만) |
flex-pi/robotwin_3d (LeRobot v2.1, 99,689 files) | 75.5 GB | 학습 (50 task × 550 ep = 27,500 ep, depth+intrinsics 포함) |
flex-pi/robotwin_3d_text_embeds_cache (523 shards, ~1M prompt) | 1,090.7 GB | 학습 — 아래 회피책 참조 |
| 자산 | 상태 | 재사용 |
|---|---|---|
~/Datasets/RoboTwin2.0/dataset/ | 50 task × aloha-agilex_randomized_500 HDF5. RGB 4캠 + K/extrinsic + 14D joint. depth 없음, clean-50 없음 | 불필요 Flex-π는 HF robotwin_3d 사용 |
X-WAM/third_party/RoboTwin (upstream c3ddfa8, 2026-05-23) | assets/ 완비(embodiments 5종, objects 129) + envs/curobo 설치 | 심링크 16 GB 재다운로드 회피 |
conda robotwin (2026-08-25 생성) | sapien 3.0.0b1 · mplib 0.2.1 · curobo import OK · libvulkan-loader/libglvnd. torch 2.8.0+cu129 | 불가 Flex-π pin torch 2.7.1+cu128 — 절차만 참고 |
| Vulkan | 로그인 /etc/vulkan/icd.d/nvidia_icd.json (api 1.4.312). dreamzero: 워커 이미지에 vendor-neutral loader 없음 → conda libglvnd+libvulkan-loader로 Isaac Sim 해결 | SAPIEN 실렌더 미확인 |
conda flexpi | 없음 | 신규 구축 |
| 클러스터 (조사 시점) | core 72/72 사용 중(본인 own 8 + extra 1), share idle 6. NAS 25 TB free / 370 TB | 8-GPU own 사용하려면 현재 잡 정리 필요 |
flexpi env(INSTALL §1a) + RoboTwin sim(§4.1 sapien/mplib/curobo)을 한 env에. DeepSpeed 학습은 cuda-nvcc=12.8 + CUDA_HOME, pip는 TMPDIR을 NAS로(cross-device link 오류).VK_ICD_FILENAMES=/etc/vulkan/icd.d/nvidia_icd.json(문서의 /usr/share/...는 여기 없음) + conda loader. Vulkan은 CUDA_VISIBLE_DEVICES를 안 따르지만 워커 pod엔 요청 GPU만 보이므로 무방할 것.sample_language_annotations=false → 에피소드당 paraphrase #1(task_index)만 사용 = 필요 prompt ≤ 27,500개(≈27 GB, 1 MB/prompt). precompute_text_embeds.py는 tasks.jsonl 전체(~1M)를 훑으므로 사용 task_index만 필터하는 소규모 수정으로 해결 가능 — 검증 필요.RoboCasa였다면 데이터 변환(LeRobot v2.1 + FFV1 depth + intrinsics)과 robosuite policy 래퍼를 새로 써야 했지만, RoboTwin은 Flex-π의 1급 벤치마크라 남은 일은 환경 구축과 다운로드뿐이다. 평가 재현은 반나절 세팅이면 착수 가능하고, 학습 재현의 실질적 병목은 1 TB text 캐시(회피 가능)와 8 GPU 수 일의 학습 시간이다. 클러스터 특이점(워커 Vulkan loader, ICD 경로, nvcc, TMPDIR)은 dreamzero/FastWAM에서 이미 푼 패턴을 그대로 쓴다.
flexpi env 생성(§1a) → RoboTwin sim 설치(§4.1) → X-WAM/third_party/RoboTwin/{assets,envs/curobo} 심링크 → pytest experiments -q, torchcodec ffmpeg 바인딩 확인 → Wan VAE/T5/DINOv3 + ckpt 다운로드(HF_HUB_DISABLE_XET=1).
로그인에서 eval_flexpi_robotwin_single.sh 1 task × 2 ep(≤20분)로 SAPIEN 렌더·curobo·episode당 시간 실측 → sbm "bash scripts/eval_flexpi_robotwin.sh" --qos=own --gres=gpu:8 -c 64 --mem 1600GB (action-only vs full-joint) → 94.6% 재현 여부.
robotwin_3d 75.5 GB 다운로드 → text 캐시 필터링 인코딩 → sbm "bash scripts/train_flexpi_robotwin.sh" --qos=own --gres=gpu:8 -c 64 --mem 1600GB. preempt 대비 RESUME= 명시 경로(sbm set -f라 glob 금지).