← Index
2026-08-12 — Experiment · updated 08-13

CFG On/Off Ablation — Cosmos3-Nano-Policy-DROID (RoboLab)

Cosmos3 | guidance 3.0 vs 1.0 · num_steps=4 · full-120 n=1200

TL;DR

26.1%
CFG-off
37.1%
CFG-on
−11.0%p
Δ (유의)
~2×
속도(대가↑)

1 배경 / 목적

num_steps A/B("스텝↑ → 화질↑, 성공률 불변") 후속으로 남은 축은 CFG 세기. 릴리즈 서버 기본 guidance=3.0이 성공률에 실제로 기여하는지 미측정이었다.

2 작업 내용

--guidance는 서버 노브(기본 3.0). guidance=1.0이면 샘플러가 uncond forward를 스킵(no-CFG와 bit-identical) → 스텝당 forward 2→1(~2× 빠름). action+video 공동 velocity라 action도 바뀐다.

full-120(n=1200): CFG-on 52552-5(445/1200) · CFG-off 78492-5(313/1200, sbmr requeue) 표준-15(n=150): CFG-on 51235-7(63/150) · CFG-off 78401-3(56/150)

3 결과 (full-120, n=1200)

Config성공률95% CIforward/스텝
CFG-on (3.0)445/1200 = 37.1%[34.4, 39.9]2
CFG-off (1.0)313/1200 = 26.1%[23.7, 28.6]1 (~2× 빠름)
Δ−11.0%p, CI 비중첩 → 유의. 120태스크 중 66개 이동, 하락 지배. n=150(−4.7%p, CI 중첩)은 서브셋 편향으로 실체를 가렸다.

guidance 스윕 곡선 (30태스크 보정 서브셋, n=300/점)

1.0·3.0은 기존 full-120의 서브셋 집계, 2.0·4.0만 신규 실행(79845/79846). 4점 모두 동일 30태스크셋 — 서브셋의 1.0·3.0이 full 전체값(26.1%/37.1%)과 일치하도록 보정.

25%30%35%40%1.02.03.04.0guidance scale26.0%36.3%37.0%34.7%1 fwd · 2× 빠름peak (기본값)
Figure: guidance → 성공률. 빨강(1.0)만 uncond forward 스킵으로 2× 빠름; 2.0/3.0/4.0은 2 forward로 동일 속도. CI는 Wilson 95%.
guidance성공률 (n=300)95% CIforward/스텝
1.0 (CFG-off)78/300 = 26.0%[21.4, 31.2]1 (~2× 빠름)
2.0109/300 = 36.3%[31.1, 41.9]2
3.0 (기본)111/300 = 37.0%[31.7, 42.6]2
4.0104/300 = 34.7%[29.5, 40.2]2
기본값 3.0이 (거의) 최적: 곡선은 1.0→2.0에서 급상승(+10%p) 후 평탄, 최고점 3.0, 4.0은 미세 하락(over-guidance). 중간 속도 옵션은 없다 — 속도 2배는 오직 1.0(uncond skip)에서만이고 2.0/3.0/4.0은 동일 속도라, "빠름+26%(1.0) vs 풀+37%(3.0)"의 이분법. guidance 노브로는 파레토 개선 여지가 없어 배포는 기본 3.0 유지가 정답.

4 똑같은 attempt — 생성(상상) & 시뮬 (on 성공 / off 실패)

하락폭 큰 6태스크. 같은 env(attempt)의 world-model 상상영상(생성)과 실제 IsaacSim 롤아웃(시뮬)을 나란히. 상상 붕괴와 실제 실패가 같은 시도에서 동행함을 본다. (상상=attempt의 모든 청크 이어붙인 전체 롤아웃)

공통: CFG-off는 정밀 배치·다물체(큐브·블록·병·과일)에서 상상과 action이 함께 무너진다. on의 상상은 정합·선명하고 실제로 성공, off의 상상은 롤아웃 내내 깨지며 실제로 실패. 이것이 full-120 −11%p의 정체.

5 참고 — 쉬운 태스크는 양쪽 성공 (BananaInBowl)

쉬운 단일물체 담기는 CFG-off 상상이 나빠도 양쪽 10/10 성공. 표준 15태스크에서 CFG 효과가 숨었던 이유.

생성 · CFG-on — 정합/선명 (성공)
생성 · CFG-off — 화질 저하 (그래도 성공)
화질만으론 실패를 못 읽는다: 정밀 태스크(§4)에선 상상 붕괴=실패지만, 쉬운 태스크는 예외. 그래서 소규모 서브셋 성공률로 CFG 효과를 판단하면 안 된다.

6 Takeaway

의미

CFG는 로봇 성공률의 실질 요인. 끄면 37.1%→26.1%(−11%p, 유의). 2배 속도는 정확도를 파는 트레이드오프 — num_steps(4-step 공짜)와 정반대. 실배포는 guidance=3.0 유지, CFG-off는 실시간 극단·26% 감내 시에만.

정밀 배치·다물체 태스크에서 특히 붕괴 → CFG가 정밀 action 품질에 기여. 방법론: n=150은 저검정력+편향으로 오판, full-120에서야 실체.

7 Next

guidance 스윕

중간값 {1.5, 2.0}이 성공률 대부분 유지+속도 일부 회수하는 스윗스폿일 수 있다. 표준 15로 곡선 후 유망점만 full.

속도 실측

bench_policy_latency.sh에 GUIDANCE 노브 → 2배 속도 실측(5분).