260406-260412 · 6-phase roadmap update + LGM redesign
Phase 0 → Phase 6의 6단계 로드맵. Phase 0~1은 환경 + baseline 검증, Phase 2가 LGM 구축, Phase 3~6이 GRPO fine-tune + 평가. 이번 주 Phase 2 진행 중에 design bug가 발견되어 LGM 재설계 plan이 추가됨.
| Phase | 목적 | 상태 | 코멘트 |
|---|---|---|---|
| Phase 0 — 환경 구축 | Wan 2.1 + Any4D + DROID 환경 | ✅ 완료 | — |
| Phase 1 — 베이스 모델 검증 | Wan 비디오 생성 + Any4D depth/pose 동작 | ✅ 완료 | — |
| Phase 2 — LGM 구축 (오리지널 설계) | VAE latent → depth/pose connector | ❌ 무효 | mixed-camera + T_lat=1 bug |
| Phase 2 — LGM 재설계 | 카메라별 독립 + 49f/cam + temporal upsample | 🔄 plan 완료 | 구현 미착수 |
| Phase 2 — Resume + viz + NaN guard | 학습 인프라 안정화 | ✅ 완료 (260408) | — |
| Phase 2 — EgoExo4D 데이터 로더 | DROID 외 옵션 | ✅ 완료 | Aria fisheye 문제 발견 |
| Phase 3 — Reward 함수 통합 | SSIM + depth + flow consistency | ❌ 미착수 | Phase 2 재설계 후 |
| Phase 4 — GRPO fine-tune | Flow-GRPO 위에 reward 교체 | ❌ 미착수 | — |
| Phase 5 — 정량 평가 | 3D consistency metric | ❌ 미착수 | — |
| Phase 6 — 로봇 도메인 적용 | wrist-view ego 생성 | ❌ 미착수 | — |
원래 Phase 2는 "connector를 학습해서 Phase 3로 넘어간다"였지만 design bug 발견으로 connector 입력 자체를 다시 설계해야 함. Why: mixed-camera VAE encoding + T_lat=1은 모델 수정으로 풀 수 없는 근본 문제. 데이터 로더 + connector + 학습 루프 3개를 동시에 갈아야 한다.
원래는 DROID로 Phase 2 마무리 → Phase 3 진입 계획이었지만, DROID depth GT 노이즈와 도메인 좁음 때문에 EgoExo4D 옵션을 같은 connector에 붙이기로. 단 Aria fisheye 문제로 추가 작업 필요.
| 요소 | 오리지널 (잘못) | 재설계 |
|---|---|---|
| VAE 입력 | exo+wrist 4 frames mixed | 카메라별 독립, 49 frames/cam |
| T_lat | 1 (T=4) | 13 (T=49) |
| Connector 출력 | 4 views 선택 | 모든 49 views/cam → 98 views total |
| Upsample 순서 | Conv3d → interpolate | trilinear upsample(16ch) → Conv3d(1024ch) |
| Reference view | 임의 | exo_t0 = identity (고정 카메라) |
| 메모리 (inference) | ~수 GB | 42.7GB (실측, B200 OK) |
| 마일스톤 | 예상 | 실제 | 코멘트 |
|---|---|---|---|
| LGM Phase A 완료 | 04-08 | ❌ 무효 | design bug 발견 |
| Resume + viz | 04-08 | 04-08 ✅ | — |
| EgoExo4D 로더 | 04-09 | 04-08 ✅ | 1일 단축 |
| LGM 재설계 plan 작성 | — | 04-09 ✅ | 긴급 추가 |
| 재설계 구현 | 04-15 | — | 다음 사이클 |