비디오 예측 지평 설계 축 분석 — full rollout vs last-frame-only

TL;DR

아이디어는 이미 구현·릴리스됨: Cosmos Policy는 정확히 s_t → (a_{t:t+K}, s_{t+K}, V) 구조. 데이터 로더가 {t, t+K} 2 시점만 읽는다 (코드로 확정).
같은 랩 두 모델이 정반대 극단: Cosmos3-Nano-Policy는 첫 프레임만 조건으로 33프레임 전체를 생성. Cosmos Policy는 미래 1프레임.
자체 데이터가 아이디어를 지지: 4-step vs 30-step A/B (n=1200) — SR 37.1% vs 37.3%로 동일한데 화질만 개선. 비디오 정제 연산이 action에 무기여.
남은 갭 = 통제 비교 부재: 동일 백본에서 0 / 1 / N 프레임을 A/B한 논문이 없다. Cosmos Policy조차 "왜 중간 프레임을 안 쓰는지" 정당화를 논문에 쓰지 않았다.

Cosmos Policy 미래프레임

Cosmos3-Nano 생성프레임

X-WAM 생성프레임

−1.5pp

미래프레임 제거 영향(LIBERO)

1 배경 / 목적

WAM 계열은 관례적으로 첫 프레임 → T프레임 전체 비디오 + action을 공동 생성한다. 질문은 단순하다 — 중간 프레임 예측이 정말 필요한가? 첫 프레임을 주고 마지막 프레임 1장만 예측하면서 그 사이 action을 동시에 뽑으면 안 되는가?

이미 확보된 지지 증거: Cosmos3-Nano-Policy 4-step vs 30-step A/B (n=1200)에서 SR 37.1% vs 37.3%로 동일한데, 영상 화질만 30-step이 확연히 우수(color_spread +37%, edge +13%). → 비디오 latent 정제에 쓴 추가 연산이 action에 전혀 기여하지 않는다.

비용 측면: Cosmos3-Nano-Policy는 decode_video=off로 둬도 비디오 latent를 여전히 4 step 함께 denoise한다 (action-only fast path 없음). VAE decode만 건너뛸 뿐, 비디오 예측 비용은 항상 지불한다.

2 작업 내용 — 웹 요약 대신 로컬 코드 대조

논문 본문(arXiv 2601.16163)에 더해 로컬 레포 코드 3종에서 실제 프레임 인덱스를 직접 확인했다. 요약문은 "future state images"라고만 쓰여 있어 몇 장인지 알 수 없었기 때문이다.

~/repos/Robotics/cosmos-policy/ — Cosmos Policy(Predict2-2B) 데이터 파이프라인
~/repos/Robotics/cosmos/packages/cosmos3/ — Cosmos3-Nano-Policy 시퀀스 플랜
~/repos/Robotics/X-WAM/comparison/models/*.yaml — 세 모델 실측 latency 레지스트리(동일 1×B200)

3 결과

3-1. 사용자 아이디어 = Cosmos Policy의 설계 그 자체 (코드로 확정)

cosmos_policy/datasets/robocasa_dataset.py:827-837 future_frame_idx = relative_step_idx + self.chunk_size frames_needed = {relative_step_idx, future_frame_idx} # ← 정확히 2 시점만 로드

중간 프레임은 디스크에서 읽지도 않는다. 논문 본문도 동일: "s and s′ only consist of the observations at time t and t+K", "we do not use input history nor predict future frames across multiple subsequent timesteps".

latent 시퀀스 = 11 프레임이며, 각 프레임이 비디오 클립이 아니라 개별 이미지 latent다:

[blank] [proprio_t] [wrist_t] [exo1_t] [exo2_t] [action chunk — K개 action을 1 latent에 duplicate-fill] [proprio_{t+K}] [wrist_{t+K}] [exo1_{t+K}] [exo2_{t+K}] [V(s_{t+K})] K = 16 (LIBERO) / 32 (RoboCasa) / 50 (ALOHA) ← cosmos_policy/constants.py

추론 시엔 미래 프레임을 아예 버린다(parallel decoding). planning 모드에서만 best-of-N 재랭킹에 사용하며, 그때는 chunk당 ~5초로 느려진다.

3-2. Cosmos3-Nano-Policy는 정반대 극단 (코드로 확정)

cosmos_framework/data/vfm/action/transforms.py:258, 297-298 "policy": Predict both actions and video given first frame condition_frame_indexes_vision = [0] # ← 첫 프레임만 조건, 나머지 전부 생성 대상 inference/action.py:91 → target_frames = action_chunk_size + 1 = 33 프레임 VAE temporal compression 4 → latent 9장 중 8장을 매 step denoise

즉 같은 NVIDIA 랩의 두 모델이 이 설계 축의 양 끝에 서 있다.

3-3. 세 모델 실측 비교 (동일 1×B200)

모델	미래 프레임	params	action call	ms/action	SR
Cosmos Policy (Predict2)	1	2B	353 ms	11.0	LIBERO 98.5 / RoboCasa 67.1 (논문)
X-WAM	9	5B	237 ms (compiled)	7.4	RoboCasa 75.3 (자체 재현)
Cosmos3-Nano-Policy	33	16B	961 ms	30.0	RoboLab 37.1 (자체 측정)

이 표는 인과적 비교가 아니다. params(2/5/16B), 해상도, denoising step, 벤치마크가 전부 다르다. 확실한 건 하나 — 프레임 수가 latency를 결정하지 않는다 (1프레임 2B가 9프레임 5B보다 느리다).

3-4. X-WAM은 이미 추론시 부분 해법을 갖고 있다

diffusion_steps_action: 10 vs diffusion_steps_video: 50 (ANS/early_stop 디커플링) → full 4D 생성 2100 ms에서 action path 352 ms로 6.0× 절감. "비디오가 추론을 느리게 한다"는 논거의 상당 부분이 X-WAM에선 이미 해결돼 있다.

남은 비용은 9프레임 × 3뷰 latent가 action의 10 step 내내 시퀀스에 남아 attention 비용을 낸다는 점. 여기가 horizon 축소로 얻을 수 있는 실제 잔여 이득이다.

3-5. 선행연구 지형 — "축소" 방향은 이미 레드오션

연구	미래 프레임	핵심
FLARE (NVIDIA, 2505.15659)	0 (픽셀 생성 없음)	DiT feature ↔ 미래 관측 latent 정렬. baseline 대비 최대 +26%. "explicit frame generation은 비싸고 pixel fidelity vs task relevance가 상충"
UVA (RSS'25)	학습 O / 추론 0	비디오·action 디코더 분리 → 추론 시 비디오 생성 스킵, Diffusion Policy급 속도
Cosmos Policy	1 (t+K)	위 참조
CoT-VLA (CVPR'25)	1 (subgoal)	subgoal 이미지 자기회귀 예측 → action chunk. real +17%, sim +6%
VPP	16	예측은 하되 중간 표현만 policy에 사용

"전체 예측은 과하다"는 명제 자체는 이미 여러 번 논증됐다. 순수한 "마지막 프레임만 예측" 아이디어는 novelty가 없다.

3-6. 반론 — 미래 프레임의 기여도는 작지만 0은 아니다

Cosmos Policy Table 4 ablation: aux loss(미래 상태 + value) 제거 → LIBERO 98.5 → 97.0 (−1.5pp). from scratch → 94.6 (−3.9pp).

해석: 비디오 사전학습 prior의 기여(−3.9pp)가 미래 프레임 예측 자체의 기여(−1.5pp)보다 크다. 즉 "비디오 모델을 쓴다"는 것과 "비디오를 생성한다"는 것은 분리 가능하다.

4 Takeaway

아이디어는 이미 구현·릴리스됐다. 그대로 제안하면 scoop 상태.
하지만 아무도 통제 비교를 하지 않았다. Cosmos Policy는 "왜 중간 프레임을 안 쓰는지" 정당화를 논문에 쓰지 않았다 — 계산량 비교조차 없이 설계 선택으로 던져놨다. 동일 백본에서 0 / 1 / N 프레임을 A/B한 논문이 없다.
우리는 이 비교를 할 수 있는 드문 위치에 있다. X-WAM(9프레임) 학습 파이프라인 재현 완료, Cosmos3-Nano(33)·Cosmos Policy(1) 둘 다 로컬 보유, 동일 하드웨어 실측치 확보.
구현 함정: 마지막 프레임은 "비디오 클립의 끝"이 아니라 독립 이미지 latent로 인코딩해야 한다. causal 3D VAE에서 마지막 latent만 뽑으면 선행 latent 의존 때문에 이득이 없다. Cosmos Policy는 11개 latent를 전부 개별 이미지로 취급해 이 문제를 피했다.

5 Next — 제안 실험

X-WAM 백본 3-arm horizon ablation (유일 변수 = 미래 프레임 수)

arm	미래 프레임	목적
A	9 (현행)	대조군. 재현치 RoboCasa 75.3%
B	1 (마지막만)	제안 아이디어
C	0 (action만)	미래 프레임 기여도 하한

arm당 비용

8 GPU × 7~8h

실측 학습 속도

0.845 step/s

ckpt 용량

111 GB / arm

측정 지표

SR · latency · step/s · mem

대조군 주의: 기존 experiments/vanilla_repro는 부적합하다 (world_size 1, batch 4, pretrained null → SR 11.0%). arm A도 동일 조건으로 새로 돌려야 한다.

통계력 주의: Cosmos Policy ablation 폭이 1.5pp였다. RoboCasa 24태스크 × 100 rollout(n=2400)에서 95% CI ≈ ±1.7pp → 1.5pp 차이는 검출 경계선. 차이 없음이 나올 확률이 높고, 그것도 결과다 — "비디오 사전학습 후에는 중간 프레임 감독이 무의미"라는 강한 주장.

가장 유망한 차별화 각도 — 4D goal

X-WAM 고유의 depth/pointmap 출력을 마지막 프레임에만 적용하면 "목표 point cloud를 예측하는 policy"가 된다. 현재 아무도 안 한 조합이며, 진행 중인 DROID pointmap A/B 파이프라인과 직결된다. horizon 축소가 3D 감독을 얼마나 보존하는지가 검증 포인트.

미해결 질문 — horizon K 자체. Cosmos Policy의 s′는 chunk 끝(1~3초)일 뿐 task-level goal이 아니다. K를 subtask 경계까지 늘리면 계층적 planning이 공짜로 생기는가? 이건 아직 아무도 안 봤다.

근거: cosmos-policy / cosmos3 / X-WAM 로컬 코드 + arXiv 2601.16163 · 2505.15659 · 2503.00200 · 2503.22020
상세 로그: cosmos/claude/260805/research-video_horizon_policy.md

비디오 예측 지평(horizon) 설계 축 분석 — full rollout vs last-frame-only