VGGT-Ω stitch layer 탐색 — ℓ̂=2 결정 (conv3d

← 목록으로

TL;DR

VGGT-Ω(depth=24, embed_dim=1024)에서 VAE latent를 가장 잘 예측하는 Aggregator block을 ridge regression으로 탐색
Best ℓ̂=2 (MSE 7.61e-3) — 10개 layer 중 가장 앞쪽. MSE는 layer 따라 단조 증가(layer 20에서 1.12, 147×)
DA3 best=6(vitl)과 대조적 — VGGT-Ω는 inter-frame attention 이전 초반 features가 VAE latent와 선형 정합 우수
Conv3d init 저장 완료: experiments/stitch_search_vggt/conv3d_init_layer2.pt

Best layer (ℓ̂)

7.61e-3

Best MSE

Aggregator depth

1024

embed_dim

59m

Job 29986 runtime

1 배경/목적 (왜)

VGGT-Ω를 Phase 4 reward backbone으로 채택하기로 결정(260629)한 뒤, LGM connector 통합 경로를 위해 어느 Aggregator block에서 feature를 뽑아야 하는지(stitch layer ℓ̂) 결정이 필요했다.

기존 DA3 트랙에서 find_stitch_layer_da3.py로 closed-form ridge regression 방법을 사용해 ℓ̂=6을 결정한 것과 동일한 방식으로, VGGT-Ω Aggregator에 적용. 목표는 "Conv3d(VAE latent 16ch → VGGT-Ω feature 1024ch)가 어느 layer를 모방하도록 초기화하면 최소 MSE인가".

DA3(vitl, depth=12+12 alt, stitch at 6 = alt_start=8 직전)와 VGGT-Ω(24 alternating blocks)는 구조가 달라 단순 비교 불가. 각자 탐색 필요.

VGGT-Ω Aggregator 구조

24 alternating frame+inter-frame attention blocks (frame_blocks + inter_blocks)
embed_dim=1024, patch_size=16, patch_token_start=17 (cam+register token 이후)
캐싱: cached_layer_indices를 임시 확장 → 각 block 출력에서 2C concat 중 후반부 C(tokens) 추출

2 작업 내용 (어떻게)

scripts/find_stitch_layer_vggt.py 작성. DA3 버전과 동일한 closed-form 3-pass 알고리즘이나 VGGT-Ω native API에 맞게 재구성:

핵심 설계 결정

per-cam 독립 forward: 각 cam을 [1, F, 3, H, W]로 독립 forward → inter-cam contamination 없이 within-cam temporal attention만. DA3와 동일 convention.
token 슬라이싱: 2C concat 후반부 [..., C:] = post-inter-frame tokens. camera+register token 제거 ([..., patch_token_start:, :])
메모리 최적화: layer 2,4,6,...,20 (매 2 block) 탐색 → 12× 대신 10 layer만
Conv3d shape: 16→1024, kernel 5×5×5, stride (1,2,2), padding (2,2,2) — DA3 LGMConnectorDA3와 완전 동일. 공간 정합 확인: VAE latent → Conv3d 출력 21×37 = patch grid 21×37 ✅

Job: 29986 (own QOS, 1 GPU B200, -c 8, --mem 200GB) Runtime: 00:59:32 COMPLETED 데이터: 24 HDF5 (RoboCasa 24 task), 3 clips train / 10 clips eval per HDF5 → train 72 clips × 3 cam = 216 cam-clips → eval 240 clips × 3 cam = 720 cam-clips (MSE 평가) n_rows_total: 5,370,624 VGGT-Ω: depth=24, embed_dim=1024, patch_token_start=17 Layers probed: [2, 4, 6, 8, 10, 12, 14, 16, 18, 20] Ridge: 1e-4

3-Pass 알고리즘

Pass 1: 학습 clips에서 XᵀX (16×5³ × 16×5³ 행렬) + XᵀY per layer 누적 (float64)
Pass 2: ridge regression 풀기 → W per layer → conv3d weight 저장
Pass 3: held-out 10 clips에서 MSE 평가 → best layer 선택

3 결과 (수치)

Layer (ℓ)	Eval MSE ↓	비고
2	7.61e-3	← BEST
4	9.26e-3	+22%
6	1.00e-2	+32%
8	1.18e-2	+55%
10	1.61e-2	+112%
12	4.38e-2	+476%
14	1.60e-1	+2002%
16	5.06e-1	×66
18	1.07e+0	×141
20	1.12e+0	×147 (worst)

Best ℓ̂=2: MSE 7.61e-3. Layer가 깊어질수록 단조 증가 → layer 2/24가 VAE latent와 선형 정합이 가장 좋음. Layer 12 이후 급증(elbow at ~10).

DA3 vs VGGT-Ω stitch layer 비교

DA3(vitl, best=6)는 alt_start=8 직전 — cross-view attention이 섞이기 전 per-cam feature가 최적. VGGT-Ω(best=2)는 훨씬 앞쪽: Aggregator의 초반 frame_block이 공간 geometry에 가장 직접 대응. 더 깊이 가면 inter-frame attention이 feature를 task-specific하게 변형시켜 VAE latent와 선형 정렬이 깨진다고 해석할 수 있음. 두 backbone의 정보 추출 방식 차이 반영.

저장 결과

experiments/stitch_search_vggt/ conv3d_init_layer2.pt ← 채택 (best) conv3d_init_layer4.pt conv3d_init_layer6.pt ... (10 layers 전부 저장됨) best_layer.json ← {"best_layer": 2, "mse_per_layer": {...}} mse_curve.png ← MSE vs layer plot

4 Takeaway

VGGT-Ω stitch layer = 2 확정: LGM connector 통합 시 layer 2 feature를 타겟으로 Conv3d init 사용 가능
DA3(ℓ̂=6)보다 훨씬 앞쪽 — backbone별 stitch layer 탐색이 필수임을 재확인 (범용 공식 없음)
MSE curve가 단조 증가(no secondary minimum)라 결정이 명확. DA3처럼 "plateau 후 drop 후 급등" 패턴이 아님
Conv3d shape(16→1024, k=5, s=(1,2,2))이 DA3와 동일 → LGMConnectorDA3 코드 재사용 가능, stitch layer만 교체

5 Next Steps

VGGT-Ω connector 구현: src/models/lgm_connector_vggt.py — LGMConnectorDA3에서 backbone=VGGT-Ω, stitch_layer=2로 교체. capture_hidden 함수는 이미 find_stitch_layer_vggt.py에 구현됨
Phase 4 두 경로 결정: (A) off-the-shelf VGGT-Ω direct-RGB reward (connector 없이) vs (B) VGGT-Ω + LGM connector fine-tune. 우선순위: A를 먼저 시도, B는 A 성능 부족 시
reward signal sanity check: VGGT-Ω depth → 4D reward (SSIM + depth error + flow consistency)로 변환 시 신호 강도 확인 (RoboCasa GT로 reference 가능)
(선택) odd layer(1,3,5...) 추가 탐색 — ℓ=2 vs ℓ=1 차이 확인 필요 시