← Index

Cosmos3-Nano-Policy-DROID — denoise 4-step vs 30-step

성공률: 전체 120태스크 스윕 (4-step 52552-5 vs 30-step 54010-3, n=1200) · 아래 영상 A/B: 2태스크 파일럿 (51187 vs 52752, num-envs 4)
결론: denoise 스텝을 늘리면 예측 영상은 좋아지지만, 로봇 성공률은 그대로다. 30-step은 4-step 대비 예측 영상이 뚜렷이 선명하다 (색 다양성 color_spread +37%, 엣지 +13%). 그러나 성공률은 전체 120태스크 n=1200에서 37.1% → 37.3% (+0.2%p)로 통계적으로 동일하다. action·video 공동 denoise인데도 video latent를 7.5배 더 정제한 것이 action에는 반영되지 않는다 — 4-step에서 action이 이미 수렴했거나 둘의 결합이 느슨한 것. 게다가 호출당 2.14배 느려 4-step은 실시간(15Hz) 가능하지만 30-step은 불가하다. → 로봇 평가·실배포는 num_steps=4, 예측 영상 감상용으로만 30-step. (화질을 더 높이려면 스텝이 아니라 Cosmos3-Edge 시험이 정답.)
성공률 (120태스크, n=1200)
4-step 37.1%37.3% 30-step
동일 (+0.2%p)
성공률 (표준 15태스크, n=150)
4-step 42.0%38.0% 30-step
노이즈 범위
영상 색다양성 color_spread ↑
4-step 54.774.8 30-step
+37% · 30-step 우수
영상 엣지 선명도 edge ↑
4-step 4.284.84 30-step
+13% · 30-step 우수
호출당 추론 (BlockStacking)
4-step 2496ms5353ms 30-step
2.14배 느림
실시간 15Hz 가능?
4-step 가능불가 30-step
4-step만

성공률 "동일"은 이제 n=1200 근거: 이전 파일럿은 n=8(2태스크)이라 두 조건 CI가 [13.7–70.1]로 겹쳐 동일을 강하게 주장하기 어려웠다. 전체 120태스크 스윕으로 각 조건 1200 에피소드를 측정하니 4-step 445/1200, 30-step 448/1200 — 95% CI가 각각 [34.4–39.8], [34.6–40.1]로 거의 포개진다. 표준 15태스크(n=150)에서도 42.0% vs 38.0%로 노이즈 범위. 공통 120태스크의 태스크별 평균 |차이|는 9.1%p(중앙값 10%p)로, 이는 같은 초기장면에서의 정책 샘플링 노이즈지 스텝 수 효과가 아니다.

화질 지표 정정: 이전 "Laplacian 선명도 1.00배 동일"은 틀렸다 — (1) 60클립을 태스크 무통제로 평균해 씬 복잡도 분산이 step 효과를 덮었고, (2) Laplacian 분산은 물체 소실을 못 본다(블록이 사라져도 나무결 텍스처가 분산을 유지). 같은 (task, env0, chunk) 통제 + 물체 소실 감지용 color_spread(채도 픽셀 hue 표준편차)로 다시 재니 30-step이 +37%로 명확히 우수했고, 이는 육안 관찰과 일치한다.

왜 7.5배가 아니라 2.14배인가: denoise sampling만 스텝 수에 비례하고, VAE encode/decode·이미지 전처리·transform·transfer는 스텝 수와 무관한 고정 비용이다. Stage A 실측에서 4-step도 sampling이 이미 서버 시간의 ~78%였는데, RoboLab 조건은 3뷰 카메라 전처리·큰 이미지 transfer가 붙어 고정비 비중이 더 크다. 그래서 sampling이 7.5배가 돼도 호출당 전체는 2.14배에 그친다.

아래는 같은 env를 왼쪽 4-step / 오른쪽 30-step으로 나란히 둔 것. 각 영상은 다시 좌=상상 / 우=실제로 분할된다.

BlockStackingSpecifiedOrderTask

4-step 0/4 vs 30-step 0/4 · 같은 초기 장면, denoise 스텝만 다름
env0
4-step
FAIL
궤적
30-step
FAIL
궤적
env1
4-step
FAIL
궤적
30-step
FAIL
궤적
env2
4-step
FAIL
궤적
30-step
FAIL
궤적
env3
4-step
FAIL
궤적
30-step
FAIL
궤적

RubiksCubeLeftOfBowlTask

4-step 2/3 vs 30-step 2/3 · 같은 초기 장면, denoise 스텝만 다름
env0
4-step
SUCCESS
궤적
30-step
SUCCESS
궤적
env1
4-step
SUCCESS
궤적
30-step
FAIL
궤적
env3
4-step
FAIL
궤적
30-step
SUCCESS
궤적