Δ−11.0%p, CI 비중첩 → 유의. 120태스크 중 66개 이동, 하락 지배. n=150(−4.7%p, CI 중첩)은 서브셋 편향으로 실체를 가렸다.
guidance 스윕 곡선 (30태스크 보정 서브셋, n=300/점)
1.0·3.0은 기존 full-120의 서브셋 집계, 2.0·4.0만 신규 실행(79845/79846). 4점 모두 동일 30태스크셋 — 서브셋의 1.0·3.0이 full 전체값(26.1%/37.1%)과 일치하도록 보정.
Figure: guidance → 성공률. 빨강(1.0)만 uncond forward 스킵으로 2× 빠름; 2.0/3.0/4.0은 2 forward로 동일 속도. CI는 Wilson 95%.
guidance
성공률 (n=300)
95% CI
forward/스텝
1.0 (CFG-off)
78/300 = 26.0%
[21.4, 31.2]
1 (~2× 빠름)
2.0
109/300 = 36.3%
[31.1, 41.9]
2
3.0 (기본)
111/300 = 37.0%
[31.7, 42.6]
2
4.0
104/300 = 34.7%
[29.5, 40.2]
2
기본값 3.0이 (거의) 최적: 곡선은 1.0→2.0에서 급상승(+10%p) 후 평탄, 최고점 3.0, 4.0은 미세 하락(over-guidance). 중간 속도 옵션은 없다 — 속도 2배는 오직 1.0(uncond skip)에서만이고 2.0/3.0/4.0은 동일 속도라, "빠름+26%(1.0) vs 풀+37%(3.0)"의 이분법. guidance 노브로는 파레토 개선 여지가 없어 배포는 기본 3.0 유지가 정답.
4 똑같은 attempt — 생성(상상) & 시뮬 (on 성공 / off 실패)
하락폭 큰 6태스크. 같은 env(attempt)의 world-model 상상영상(생성)과 실제 IsaacSim 롤아웃(시뮬)을 나란히. 상상 붕괴와 실제 실패가 같은 시도에서 동행함을 본다. (상상=attempt의 모든 청크 이어붙인 전체 롤아웃)
RubiksCubeRightOfBowl — 8/10 → 1/10 (−7)
CFG-on env2 · 성공
생성(상상) — 상상 전체 롤아웃
시뮬(실제) — IsaacSim 롤아웃
CFG-off env0 · 실패
생성(상상) — 롤아웃 내내 붕괴
시뮬(실제) — 집기/정렬 실패
CubesAndBlocksInBin — 9/10 → 2/10 (−7)
CFG-on env1 · 성공
생성(상상) — 상상 전체 롤아웃
시뮬(실제) — IsaacSim 롤아웃
CFG-off env0 · 실패
생성(상상) — 롤아웃 내내 붕괴
시뮬(실제) — 집기/정렬 실패
PlasticBottlesInSquarePail — 10/10 → 4/10 (−6)
CFG-on env2 · 성공
생성(상상) — 상상 전체 롤아웃
시뮬(실제) — IsaacSim 롤아웃
CFG-off env0 · 실패
생성(상상) — 롤아웃 내내 붕괴
시뮬(실제) — 집기/정렬 실패
YogurtInBowl — 6/10 → 1/10 (−5)
CFG-on env4 · 성공
생성(상상) — 상상 전체 롤아웃
시뮬(실제) — IsaacSim 롤아웃
CFG-off env0 · 실패
생성(상상) — 롤아웃 내내 붕괴
시뮬(실제) — 집기/정렬 실패
FruitsGreenLimesOnPlate — 5/10 → 0/10 (−5) · off 전멸 0/10
CFG-on env5 · 성공
생성(상상) — 상상 전체 롤아웃
시뮬(실제) — IsaacSim 롤아웃
CFG-off env0 · 실패
생성(상상) — 롤아웃 내내 붕괴
시뮬(실제) — 집기/정렬 실패
BlocksInBin — 5/10 → 0/10 (−5) · off 전멸 0/10
CFG-on env0 · 성공
생성(상상) — 상상 전체 롤아웃
시뮬(실제) — IsaacSim 롤아웃
CFG-off env0 · 실패
생성(상상) — 롤아웃 내내 붕괴
시뮬(실제) — 집기/정렬 실패
공통: CFG-off는 정밀 배치·다물체(큐브·블록·병·과일)에서 상상과 action이 함께 무너진다. on의 상상은 정합·선명하고 실제로 성공, off의 상상은 롤아웃 내내 깨지며 실제로 실패. 이것이 full-120 −11%p의 정체.
5 참고 — 쉬운 태스크는 양쪽 성공 (BananaInBowl)
쉬운 단일물체 담기는 CFG-off 상상이 나빠도 양쪽 10/10 성공. 표준 15태스크에서 CFG 효과가 숨었던 이유.
생성 · CFG-on — 정합/선명 (성공)
생성 · CFG-off — 화질 저하 (그래도 성공)
화질만으론 실패를 못 읽는다: 정밀 태스크(§4)에선 상상 붕괴=실패지만, 쉬운 태스크는 예외. 그래서 소규모 서브셋 성공률로 CFG 효과를 판단하면 안 된다.
6 Takeaway
의미
CFG는 로봇 성공률의 실질 요인. 끄면 37.1%→26.1%(−11%p, 유의). 2배 속도는 정확도를 파는 트레이드오프 — num_steps(4-step 공짜)와 정반대. 실배포는 guidance=3.0 유지, CFG-off는 실시간 극단·26% 감내 시에만.
정밀 배치·다물체 태스크에서 특히 붕괴 → CFG가 정밀 action 품질에 기여. 방법론: n=150은 저검정력+편향으로 오판, full-120에서야 실체.
7 Next
guidance 스윕
중간값 {1.5, 2.0}이 성공률 대부분 유지+속도 일부 회수하는 스윗스폿일 수 있다. 표준 15로 곡선 후 유망점만 full.
속도 실측
bench_policy_latency.sh에 GUIDANCE 노브 → 2배 속도 실측(5분).