Projects

MetaView

**최종 목표**: MetaView의 3D 메커니즘(카메라 조건부 attention + 멀티뷰 3D 토큰)을 비디오 생성 모델로 확장해 **WAM(World Action Model)의 backbone**으로 쓴다. 3D consistency를 확보하고 wrist view를 더 잘 생성해서 **action 예측 정확도를 높이는 것**이 목적.

7 reports 2 weeks
260803 — 260809 6 reports · 29 tables 6
08-08 analysis
M3의 44%는 무엇이었나 — Phase 1 종합
Phase 1 종합 — M3의 44%는 압도적으로 카메라 pose다 — DA3를 다른 클립 것으로 갈아끼워도 비용은 8%뿐이고 pose를 5° 틀리면 이득이 전부 사라진다(13.4배). 필요 정확도 2°, 달성 6~8° — action head는 geometry의 다음 단계가 아니라 전제였다. (토큰 프로브는 branch의 두 key 그룹 중 하나만 바꿨다는 정정 포함)
8 tables
08-07 analysis
M4는 왜 실패했나 — camera token이 볼 것이 없었다
M4는 M1과 동률(56/112). 원인은 배선 — frame-wise attention이 읽는 video가 noised latent라 \1는 노이즈만 본다. 추론 가능한 토큰은 이미 답을 받았고 답이 필요한 토큰은 볼 것이 없다. VGGT의 \1 전제를 옮기지 않았다.
3 tables
08-06 analysis
M3는 카메라를 따르는가 — 반사실 궤적 실험
같은 노이즈로 카메라 궤적만 바꿔 재생성 — M3는 카메라를 따르고 M1은 앵커 고정 궤적에서 정확히 0.0000. 반응이 3층위로 갈린다 — 절대 위치(offset) 거의 0 < 이동 방향(random_dir) 중간 < 크기·매끄러움(static/jitter) 최대. M3는 카메라를 \1가 아니라 \1로 쓴다.
4 tables
08-06 exp
M4 — 학습된 per-view camera token으로 PRoPE 대체
M4(camera token이 PRoPE 대체) stage 2 검증 후 제출(job 72911). \1이 증명 못 하는 걸 단언하던 결함과 아예 없던 run 스크립트를 발견해 수정. additive 조건화의 rank-1 한계는 미해결.
2 tables
08-04 progress
WAM Backbone Phase 1 — 구현 완료
MetaView 기하 메커니즘을 Wan2.2 5B에 통합하는 Phase 1 구현 완료 — 8개 Task / 22 커밋 / check_noop 비트 일치. 검증 층이 학습 전에 11건의 결함을 잡았고 그중 6건이 계획서 오류, 4건은 에러 없이 실험을 무의미하게 만들 종류였음.
6 tables
08-04 exp
구현 완료 후 실제 클러스터 투입 단계
M1/M2 Ablation 투입 — 클러스터에 올리기까지 잡은 7건
M1/M2 ablation을 8-GPU에 올리기까지 결함 7건 통과 — 4건은 에러 없이 실험을 무의미하게 만들 종류. M2 step-0이 M1과 전 자리 일치로 zero-init no-op을 실제 학습 체제에서 증명, 데이터 전수검사로 \1개 중 불량 1건 제거
6 tables