T2-Z 적용 검토

TL;DR

action 조건부 월드 모델(BWM, Wan2.2-5B)에 환경별 32-D latent z를 붙여 모델과 z를 교대 학습한다. 테스트에서는 모델을 고정하고 무작위 action 궤적 1~2개로 z만 40 step 최적화한다.
Sim 7과제 action 선택 성공 37.9 → 74.2%, 실물 26.5 → 70.8%. 다만 실물 표본은 과제당 5~11개이고, "action 성공"은 정답이 포함된 후보 집합에서 1회 고르는 것이다.
문제 정의는 지금까지 본 것 중 우리와 가장 가깝다(같은 인스턴스, 숨은 변수, 가중치 고정). 하지만 Long-WAM은 action_conditioned=false라 그대로는 못 쓴다.
추천: 메인 교체보다는 "AD(amortized) vs z 최적화" 비교축으로 쓰고, outcome 조건 z를 소규모로 시험한다.

74.2%

Sim action 성공 (37.9)

70.8%

실물 (26.5)

1~2

테스트 궤적 수

1 세팅

모델: BWM (Wan2.2-TI2V-5B, action 조건부) p(y | x, a, z_e), z_e in R^32, 인코더 없음 학습: Stage I (z 고정, 모델 LR 1e-5) 300 → Stage II (모델 고정, z LR 0.03) 200 → 200/200 교대 테스트: 새 z, 무작위 action 궤적 1~2개, 40 step (LR 3.0/1.5/0.5/0.15) 과제: 마찰, 중력, 질량 충돌, 스위치 규칙, 질량 분포, 질량x마찰, 배경 30종 / 실물 문 스프링, 공, 막대, 연체 데이터: sim 12~84 환경 x 9~50 ep, 실물 8~10 환경 x 146~438 ep, H200 2~4장 x 24~48h

2 결과

	표준 WM	LoRA TTA	DINOv2 Ctx	TTT-KQV	T2-Z
Sim action 성공	37.9	44.8	51.8	42.1	74.2
Sim 물리 오차	12.86	9.35	8.15	12.92	4.80
실물 action 성공	26.5	44.0	31.9	36.2	70.8

표본: Door Close 2/9 → 5/9, Ball 0/8 → 5/8, Light Switch 50%(chance) → 87.5%. amortized baseline(DINOv2)이 Gravity에서 76.5 vs 82.4로 근접한다.

3 Takeaway

맞는 점: 파지 오프셋, 구멍 실제 위치 편이, 틈새/마찰은 "같은 action, 다른 결과"인 T2-Z식 변수다. one_leg 실패 42/70이 입구 걸림이고, 인스턴스 고정 숨은 변수 설계가 지금 미해결 과제다.

안 맞는 점: Long-WAM은 영상을 먼저 상상하고 IDM이 action을 낸다(long_wam.py:125). z를 실패 영상에 맞추면 z가 환경과 "내 기본 행동"을 함께 담아, 그 z로 상상하면 다시 실패가 나온다. 또 현재 ε_bias는 정책의 믿음 오차라 환경 동역학 차이가 아니다.

(A) outcome 조건 z: p(video | obs, z, outcome)로 학습한다. 같은 인스턴스의 실패/성공 시도가 z를 공유한다. 테스트에서는 실패 영상 + fail 토큰으로 z를 맞추고 success 토큰으로 상상한다. 결과 1비트가 필요하므로 VLRLA 분석의 1비트 ablation과 묶어서 다룬다.

(B) 선택기: Long-WAM이 후보 chunk를 내고, z로 적응한 별도 action 조건부 WM이 각 후보 결과를 예측해 고른다. EXPO-FT의 후보 + 선택 구조와 결합한다.

비교축: T2-Z의 amortized 비판(학습과 다른 K에서 일반화 실패)은 우리 AD의 리스크다. 학습 K 2~5 밖에서 평가가 필요하다.

4 Next

생성기에 환경 숨은 변수(파지 오프셋, 구멍 실제 위치 편이)를 추가하고 시도 간 고정한다.

Long-WAM에 32-D z projector를 추가하고 one_leg 회복 데이터로 교대 학습한다. PCA에서 bias 방향과 크기가 구조화되는지 먼저 확인한다.

T2-Z 코드와 데이터로 BWM 크기와 action 인터페이스를 확인하고 (B)의 비용을 추정한다.

5 업데이트: 실험 세팅만 가져온다면

EXPO-FT 세팅은 비추천: Kinetix는 2D 상태 기반 동적 과제이고, 실물 과제는 DROID 하드웨어가 필요하다. 인스턴스에 고정된 숨은 변수도 없다.

T2-Z 세팅은 보조 테스트베드로 추천: 공개 repo에 시뮬 온라인 runner와 7개 과제 config가 있다(sim_action_selection/tasks/). LIBERO MuJoCo 기반이라 Long-WAM(LIBERO-IDM 초기화)과 도메인이 가깝다. 숨은 변수는 환경 쪽이고 인스턴스에 고정되며 영상으로 드러난다. 예: friction μ 0.002~0.20, push 세기 10단계.

탐색 궤적 1~2개를 히스토리 컨텍스트로 넣으면 T2-Z와 같은 프로토콜로 직접 비교할 수 있다(friction 72%, light switch 87.5%). 같은 μ에서 K회 재시도로 확장하면 조건부 SR과 운 기준선도 측정할 수 있다.

약점: 단일 push 수준의 장난감 과제이고, action이 이산 primitive라 래퍼가 필요하다. 접촉 삽입이라는 차별점은 이 세팅으로 보이지 않는다. 메인은 삽입을 유지하고, 이 과제들은 숨은 변수 추론을 깨끗하게 보이는 진단용으로 쓴다.