Frame Sparsity 곡선 완결

TL;DR

전체 SR은 중간 프레임 토큰 수에 거의 둔감: 0% 57.83% / 25% 59.58% / 100% 60.50% — 0↔100 Δ−2.67%p (z=−1.33, ns), 추세도 ns. 조밀한 중간 상상은 control의 필수 조건이 아니다.
그러나 non-PnP는 유의한 용량-반응: 66.0 → 69.5 → 71.75%, 추세 z=+2.30 (p=0.021). 토큰을 남길수록 좋아진다.
손실은 국지적 — CloseSingleDoor 66→84→90, OpenDrawer 58→74→80. 문·서랍의 연속 궤적을 따르는 관절 조작이 중간 시점 표현을 실제로 쓰고 있었다.
PnP는 반대 방향(41.5 → 39.75 → 38.0, ns) — MoT 실험 포함 세 번째 반복된 해리 패턴.
속도 동기는 최종 기각: sparsity는 eager 1.20× / compile 후 1.00×인데, torch.compile만으로 2.99×(767→256ms).

완결된 게이트

+2.30

non-PnP 추세 z

−2.67%p

0% vs 100% (ns)

2.99×

compile 가속

120h

학습 GPU-시간

1설계

중간 latent 프레임(video 720토큰 중 240 = 33%)을 얼마나 남기느냐만 바꾼 3 arm. 백본(MoT)·레시피(eff 128 / lr 3e-5 / 20k / 단일 cosine)·평가(24 task × 50 rollout, cfg=0, eager 추론으로 통일) 전부 동일.

arm	중간 프레임	시퀀스	학습
`mot_v1b`	100% 유지	761토큰	40h40m
`mot_mae25`	25% (뷰별 랜덤, MAE식)	581토큰	40h21m
`mot_dropmid`	0% (통째 제거)	521토큰	39h15m

2결과

유지율	ALL (24)	PnP-8	non-PnP-16
100%	60.50% (726/1200)	38.00%	71.75%
25%	59.58% (715/1200)	39.75%	69.50%
0%	57.83% (694/1200)	41.50%	66.00%

용량-반응 추세 검정 (Cochran-Armitage, 3 용량)

subset	0% → 25% → 100%	z	p
ALL	57.83 → 59.58 → 60.50%	+1.21	0.226	ns
non-PnP	66.00 → 69.50 → 71.75%	+2.30	0.021	SIG
PnP	41.50 → 39.75 → 38.00%	−0.97	0.331	ns

쌍별 z-검정은 0%↔100%의 non-PnP(z=−2.49) 하나만 유의하다. 세 용량의 단조성을 함께 보는 추세 검정이 이 데이터에서 더 강한 증거를 준다.

태스크 수준 용량-반응 (0% / 25% / 100%)

CloseSingleDoor 66.0 → 84.0 → 90.0 완전 단조 OpenDrawer 58.0 → 74.0 → 80.0 완전 단조 CloseDrawer 100.0 →100.0 →100.0 포화 OpenDoubleDoor 94.0 → 98.0 → 98.0 포화 OpenSingleDoor 74.0 → 58.0 → 60.0 반대 방향 (비단조) CloseDoubleDoor 80.0 → 74.0 → 86.0 비단조

3Takeaway

중간 프레임 240토큰(video의 33%)을 통째로 지워도 전체 정책 성능은 통계적으로 구분되지 않는다. world model이 정책에 기여하는 경로가 "매 프레임의 조밀한 픽셀 예측"이 아닐 가능성을 시사한다.

단, 공짜는 아니다. non-PnP는 유의한 용량-반응을 보이고, 손실은 문·서랍의 연속 궤적을 따라가는 관절 조작에 집중된다. 이 태스크들은 중간 시점의 장면 변화 표현을 실제로 사용하고 있었다. 다만 OpenSingleDoor가 반대 방향이라 "관절 조작 전체"로 일반화하면 과장이다.

세 실험에서 반복된 미해결 관찰 — PnP ↔ non-PnP 해리

video 표현을 키우는 변경이 non-PnP를 사고 PnP를 잃는 패턴이 MoT(non-PnP +2.1 / PnP −6.0)와 sparsity 곡선(+5.75 / −3.5)에서 방향을 유지한다. 전부 개별로는 ns이지만 세 번 반복됐다. 100 rollout/task 재평가(SE 1.95→1.4%p)가 확립 수단이며, 이 프로젝트에서 가장 흥미로운 열린 질문이다.

4속도 — 동기는 기각, 대신 다른 답을 찾음

측정 (policy 호출 = denoise 10스텝, bs1)	none	drop_middle	sparsity 이득
eager (현재 파이프라인)	766.9 ms	638.6 ms	1.20×
compile (default)	355.1 ms	357.0 ms	1.00×
compile (reduce-overhead / CUDA graphs)	256.3 ms	255.5 ms	1.00×

sparsity는 eager에서 1.20× 이득이 있지만 compile을 켜면 사라진다(남은 시간이 러너 denoise 루프와 마스크 구성 오버헤드로 이동). 반면 torch.compile만으로 2.16×~2.99×. 게다가 evaluation/policy_server.py:165에 이미 torch.compile 호출이 있는데 eval_robocasa.sh의 TORCHDYNAMO_DISABLE=1(워커 이미지에 C 컴파일러 없음)이 무력화하고 있었다 — NGC 컨테이너로 복원 가능하다.

교훈: forward-only 벤치를 시스템 이득으로 환산하지 말 것. bench의 bs4 1.24×는 실제 학습에서 1.01×, 실제 추론에서 1.00×였다.

5Next

① PnP↔non-PnP 해리 정식 검증(100 rollout 재평가) — 세 실험에서 반복된 가장 유망한 신호. ② 평가에 compile 복원 — 24×50이 1시간 → 20분대. 먼저 이미 평가된 ckpt로 compile 유무 SR 동등성 확인이 안전. ③ 원인 분리 — 관절 조작 손실이 중간 프레임 *토큰* 때문인지 *감독 신호* 축소 때문인지는, 중간 프레임을 유지하되 loss만 끄는 대조군으로 가를 수 있다. ④ 백본 독립성 — MoT가 이득이 없었으므로 이 결론이 공유 트렁크에서도 재현되는지 확인.

중간 프레임은 얼마나 필요한가 — 0% / 25% / 100% 곡선