tau-0-wm

τ₀-World Model(VAM)의 **나이브한 성능**(TTC 없이 기본 posttrain + 5-step 추론)을 RoboCasa

13 reports 4 weeks

260831 — 260906 2 reports · 7 tables 2

RoboTwin 리더보드 확정 — c2c 70.68 / c2r 33.15 / 평균 51.91

RoboTwin 2.0 리더보드 3개 지표 확정 — c2c 70.68% / c2r 33.15% / 평균 51.91% (각 50/50 task, 4,990 및 4,580 rollout). 동일 모델 c2c→c2r −37.53pp. 동일 44 task를 둘 다 randomized로 평가하면 run1(randomized-500) 51.32% vs run4(clean-50) 33.07%로, '랜덤화가 어려워서'가 아니라 '학습에 랜덤화가 없어서'임이 분리됨. 평가 하네스의 클라이언트 hang 결함도 발견·수정(\1).

RoboTwin 2.0 리더보드 프로토콜 전환 — clean-50 학습 완주 (run4)

RoboTwin 2.0 공식 리더보드 프로토콜(clean-50 학습→c2c/c2r 평가)로 전환, run4(job 100337) 완주 — 30,000/30,000 step, 8:52:10, 1.07 s/it. 도중 \1 유령 상속 버그(이전 run 가중치 재사용 위험) 발견·수정, NCCL hang(job 99963, rank6 CPU stall) 진단 후 nccl_timeout 5400s+\1 도입, teardown exitcode 120 오탐 버그도 수정.

260824 — 260830 6 reports · 17 tables 6

τ₀-WM RoboTwin 진단: baseline → RCS → ACVS

τ₀-WM RoboTwin 2.0 전면 진단 — baseline 49.4% vs X-WAM 90.8%. 버그 5종·환경 결함(OIDN) 제거 후에도 갭 유지. 비디오 브랜치는 정상(25dB), 병목은 액션 선택: 후보 8개 중 오라클 0.94cm로 X-WAM(1.31)보다 정확한데 RCS는 여지의 29%만 회수, 공개 ACVS는 sim OOD로 역상관.

RoboTwin run2 재학습 제출 — lr/schedule/batch 레시피 재점검

run1(54k, constant lr 5e-5, batch 96) action loss는 20k~50k 30k step 동안 -17%뿐이고 ckpt별 open-loop 정밀도도 42k 이후 평평(2.18→2.30cm, 측정 노이즈 범위) → 추가 학습으로는 못 벌었던 것 확인. X-WAM/τ₀ 논문과 스케줄·배치 차이(constant→cosine, 96→384)를 겨냥해 batch 384/15k step/정상 RGB로 run2(job 97294) 제출, 현재 RUNNING 1153/15000 step

run2 job 97294 제출 → 완주 결과 업데이트

RoboTwin run2(batch 384+cosine) 완주 — 하이퍼파라미터 가설 기각

run2(batch 384, cosine lr→0, 15k step) 완주 → open-loop 정밀도 run1 2.26cm → run2 2.63cm (+16% 악화). 배치 4배 + lr annealing 가설 기각 — 같은 샘플 예산이면 총 업데이트 수(54k vs 15k)가 배치 크기보다 지배적. 남은 레버는 레시피가 아니라 action 표현/해상도/TTC로 좁혀짐

RoboTwin 2.0 SR 갭 진단 — 버그 3종 제거 후 τ₀ 실력 34.8% 확정

RoboTwin 2.0 최종 평가 SR이 1%→43%대에 머물던 원인 버그 3종(브릿지 abs/delta 혼동, 데이터로더 R/B 채널 반전, B200에서 OIDN 디노이저 미작동)을 제거 → X-WAM 공개 ckpt로 하네스 검증 시 82.1%(논문 90.7% 재현)인데 τ₀ 54k는 학습에 쓴 씬·문장에서도 34.8%, open-loop 오차 전 구간 1.4~2.3배 열세로 \1 확정. exec=8 receding-horizon 대안도 SR 37%→12%로 악화해 기각

RoboTwin 2.0 평가 관문 — worker Vulkan/SAPIEN 렌더 가능 여부 분석

로그인 pod·worker 기본 \1에서 SAPIEN Vulkan 렌더 실패(\1) → \1 컨테이너에서만 렌더 성공(B200, driver 580.95.5) 확인, RoboTwin 평가는 이 컨테이너로 확정

τ₀-native RoboTwin 2.0 posttrain 파이프라인 구축 및 학습 착수

RoboTwin 2.0(dual-arm aloha-agilex) τ₀-native 20ch 데이터셋·zmq 브릿지·평가 파이프라인 완성 — pretrained 가중치 전량 로드(\1), E2E 평가 스모크 통과 후 54k step posttrain(job 95687) 착수, 현재 36.7k/54k step (loss 0.18→0.10)

260817 — 260823 1 report · 1 table 1

Pretrain Embodiment 전략 조사

τ₀ vs X-WAM pretrain embodiment 전략 조사 — τ₀는 플랫폼 표준화형(Franka도 dual-arm 리그, 마스킹 없음), X-WAM은 흡수형(왼팔 슬롯+미감독, DROID·MimicGen·RoboTwin 포함) → RoboCasa는 τ₀ pretrain에 3중 OOD, 63% vs 75.3% 갭 해석 강화

260810 — 260816 4 reports · 5 tables 4

naive τ₀-VAM RoboCasa 결과

naive τ₀-VAM RoboCasa 최종 63.0% (24task×50) — X-WAM base-init 밴드(61~66%)와 동급, released 75.3%와 −12.3pp 갭. τ₀ pretrain이 RoboCasa로는 X-WAM pretrain만큼 이전 안 됨. TTC headroom baseline 확보

B200 cu128 NCCL Hang 분석

worker 8-GPU hang 원인 = torch 2.7.1+cu128의 B200 미최적화 (NCCL collective 데드락 + 3× 느림의 공통 뿌리) — X-WAM 검증 스택 torch 2.8.0+cu129로 교체, 속도 6.0→1.0 s/it (6×), 27k step 예상 45h→9h, job 78808 재제출

τ₀-WM RoboCasa Posttrain 파이프라인

τ₀-WM VAM RoboCasa posttrain 전체 파이프라인 구축·검증 완료 — X-WAM 데이터/하네스 재사용, pretrained init partial load 확인, 업스트림 버그 2건 수정, job 78541 제출 (27k step = X-WAM 2.56M 샘플 매칭)

τ₀-WM (VAM) vs X-WAM 아키텍처 비교

τ₀-WM VAM vs X-WAM 코드 레벨 전수 비교 — action expert(0.5B cross-attn) vs in-sequence token(19M), video 1-pass feature vs 10-step joint denoise, depth 브랜치·TTC·평가코드 유무. naive 성능 비교 앵커는 X-WAM arm A 61.0%

Auto-generated — python build_index.py — 2026-10-23 12:47