X-WAM은 video(720토큰)·action(32)·proprio(9)를 하나의 시퀀스로 concat해 30개 블록의 같은 가중치로 처리한다. π0 / FastWAM-joint는 반대로 action에 전용 expert 타워를 준다. 저차원 robot state가 고차원 video와 파라미터를 공유하는 것이 병목이라면, 분리가 SR을 올려야 한다.
트렁크(Wan2.2-TI2V-5B, 3072dim/30L, 파라미터 이름 무변경)는 video 토큰만 처리하고, 신규 expert 타워(hidden 1024 / ffn 4096 / 30L / random init)가 action+proprio를 담당한다. 매 레이어에서 두 타워의 Q/K/V를 24 heads × 128 = 트렁크와 동일한 attention 공간에서 concat → mask 없는 joint self-attention → split → 각자 post-block(o-proj → text cross-attn → FFN).
유지: view embedding, async noise(expert 자체 AdaLN), RoPE 테이블, decoupled sampling, CFG, depth branch 코드경로(use_depth=false).
| subset | MoT | arm A (no depth) | arm B (depth) | arm C (REPA) | arm D |
|---|---|---|---|---|---|
| ALL (24) | 60.50% (726/1200) | 61.08% | 66.00% | 64.67% | 64.75% |
| PnP (8) | 38.00% | 44.00% | 53.75% | 46.75% | 50.00% |
| non-PnP (16) | 71.75% | 69.62% | 72.12% | 73.62% | 72.12% |
| 비교 | Δ | z | 95% CI | |
|---|---|---|---|---|
| MoT − arm A (ALL) | −0.58%p | −0.29 | [−4.49, +3.33] | ns |
| MoT − arm B (ALL) | −5.50%p | −2.80 | [−9.35, −1.65] | SIG |
| MoT − arm C (ALL) | −4.17%p | −2.11 | [−8.04, −0.30] | SIG |
| MoT − arm D (ALL) | −4.25%p | −2.15 | [−8.12, −0.38] | SIG |
| MoT − arm B (PnP-8) | −15.75%p | −4.53 | [−22.57, −8.93] | SIG |
| MoT − arm A (PnP-8) | −6.00%p | −1.73 | [−12.80, +0.80] | ns |
| MoT − arm A (non-PnP) | +2.13%p | +0.94 | [−2.33, +6.59] | ns |
중간 점검(step 10k)에서 SR 37.1%로 붕괴 패턴이 아님을 미리 확인했고(Close/Open/Turn 60~100% 정상 분포), 최종값은 그 궤도의 자연스러운 귀결이다.
① X-WAM의 파라미터 공유는 병목이 아니었다. "저차원 robot state가 video와 가중치를 공유해 성능이 깎인다"는 가설은 기각된다. π0/FastWAM이 expert를 쓰는 이유는 (이 데이터 규모에서는) 성능이 아니라 다른 데 — 얼린 VLM 백본이라는 제약이나 action 전용 추론 경로의 속도 — 에 있을 가능성이 높다.
② 기하 축이 용량 축보다 강하다. MoT는 depth/REPA arm 전부에 유의하게 뒤진다. 특히 arm B와의 PnP 격차 −15.75%p(z=−4.53)가 결정적이다. 1.4B를 더 쓰는 것보다 29M REPA가 낫다.
MoT는 non-PnP에서 +2.13%p, PnP에서 −6.00%p로 방향이 반대다. 둘 다 유의하지 않아 주장할 수 없지만, "expert 분리가 집기·놓기의 공간 정밀도에 불리하게 작용한다"는 가설과 방향이 맞고, arm C가 코사인 0.89로 정렬되고도 PnP를 못 샀던 것과 같은 결이다. 표본을 키우면 검증 가능한 예측이다.
frame sparsity 2 arm은 예정대로 진행. 앵커가 arm A가 아니라 mot_v1b 60.5%로 확정됐으므로 비교는 그대로 유효하다 — 질문은 "MoT 위에서 중간 프레임의 조밀한 상상이 control에 필요한가"다. 속도 축은 벤치 실측대로 학습 효율(bs4+ 1.19~1.33×)로 프레이밍한다. bs1 추론 가속은 커널런치 바운드라 1.00×다.
MoT를 계속 쓸 이유는 현재 없다. sparsity 실험이 끝나면 같은 질문을 공유 트렁크 위에서 재현하는 편이 파라미터·시간 모두 싸다. 다만 sparsity가 MoT 위에서 SR을 유지한다면 그 성질이 백본 독립적일 가능성이 커서, arm A 위 재현이 자연스러운 후속이다.
낮은 우선순위 열린 질문: expert 폭 스윕(1024가 작아서일 가능성), FastWAM ActionDiT pretrained init, MoT+depth 결합.