3-track 학습 진행 현황 (260608) — Any4D 41.9K / DA3-v2 33.5K / DA3-v1 36.1K

TL;DR

Any4D baseline (job 11851): step 25,495 → 41,865 / 50,000 (83.7%) — 3일간 +16,370 step. loss 0.33 → ≈ 0.28 개선. Jun 9–10 완주 예상 (잔여 8,135 step ÷ 5,457/day)
DA3-v2 paper-aligned (job 11869): step 19,350 → 33,500 (+14,150), loss 0.15 → ≈ 0.10 — 목표 loss < 0.10 거의 달성. 배치 최솟값 0.07–0.08 관찰
DA3-v1 baseline (job 11853): step 21,900 → 36,100 (+14,200), rotation ro ≈ 50–112° 발산 지속 — 진폭 축소 없음, 구조적 수렴 불가

41.9K

Any4D step

83.7%

Any4D 진행률

33.5K

DA3-v2 step

0.10

DA3-v2 loss

36.1K

DA3-v1 step

~44

DA3-v1 loss

1 배경 / 목적

Jun 5 스냅샷(260605 카드) 이후 3일간(Jun 5→8) 3-track LGM-RoboCasa 학습 진행 상황을 기록한다. 주요 관찰 포인트: (1) Any4D 최종 완주 임박 여부 확인, (2) DA3-v2 loss < 0.10 목표 달성 여부, (3) DA3-v1 발산 지속 여부 → scancel 의사결정.

3 track 역할 요약:

Any4D baseline (job 11851): monocular depth 사전학습 — Phase 2 GRPO reward upper bound 추정용
DA3-v2 (job 11869): paper §3.2 full loss (L_D + L_M + L_P + L_C + L_grad) — DA3 cross-view 백본 수렴 track
DA3-v1 (job 11853): 자체 설계 loss (depth + explicit rotation + render_depth + R + t) — DA3-v2 ablation (발산 중, 비교 참조용)

직전 스냅샷 (Jun 5): Any4D 25,495 (51%) / DA3-v2 19,350 (loss≈0.15) / DA3-v1 21,900 (ro≈20–202°)

2 작업 내용

신규 코드 수정 없음. 실행 중인 3개 job의 slurms/taewoongkang_118{51,53,69}.out tail 50행에서 최신 step 로그를 수집하여 loss 성분별 분석 수행.

각 track의 loss 포맷

Any4D (job 11851): [B {step}/50000] loss={total} (d={depth} p={photometric} sf={scale_factor}) lr={lr} DA3-v2 (job 11869): step {step} | loss {total} | D {depth} M {match} P {photometric} C {cross_view} g {geometry} | s {speed} DA3-v1 (job 11853): step {step} | loss {total} | d {depth} ro {rotation°} rd {render_depth} R {R_mat} t {translation} | s {speed}

속도 측정 (Jun 5 → Jun 8, 3일)

Track	Jun 5 step	Jun 8 step	Δ step	속도 (step/day)
Any4D	25,495	41,865	+16,370	5,457
DA3-v2	19,350	33,500	+14,150	4,717
DA3-v1	21,900	36,100	+14,200	4,733

Any4D가 DA3 두 track 대비 ~15% 빠름 (배치 크기 동일 4 GPU, 모델 구조 차이 기인).

3 결과

Step 진행 요약

Track	Job	Jun 5 step	Jun 8 step	+Δ (3일)	진행률	완주 예상	상태
Any4D baseline	11851	25,495	41,865	+16,370	83.7% ★	Jun 9–10	RUNNING
DA3-v2 (paper)	11869	19,350	33,500	+14,150	67.0%	Jun 11–12	RUNNING
DA3-v1 (ablation)	11853	21,900	36,100	+14,200	—	—	발산

Loss 성분 분석 (최신 ~10 step 평균)

Track	Total loss (avg)	Jun 5 → Jun 8	주요 성분	판정
Any4D (step 41,865)	≈ 0.28	0.33 → 0.28 (↓15%)	d≈0.16, p≈0.08, sf≈0.03	수렴 가속
DA3-v2 (step 33,500)	≈ 0.10	0.15 → 0.10 (↓33%)	D≈0.025, M≈0.037, P≈0.023, C≈0.016, g≈0.004	목표치 도달
DA3-v1 (step 36,100)	30 ~ 71	무변화	ro ≈ 50–112°	발산 지속

Any4D loss 개선 확인: step 41,865에서 최근 10-step 평균 loss ≈ 0.278 (Jun 5: 0.33, ↓15%). lr = 5.6–5.9e-06 (cosine decay 막바지). 성분별로 d(depth): 0.07–0.31 진동하나 이동평균 ≈ 0.16, photometric ≈ 0.08, scale_factor ≈ 0.03으로 안정. 50K 완주 시 loss가 추가로 0.05 정도 더 떨어질 여지 있음 (lr 소멸 구간).

DA3-v2 loss < 0.10 달성: 최근 10-step 평균 ≈ 0.103, 배치 최솟값 step 32,950에서 0.0728 관찰. Jun 5 카드에서 설정한 "< 0.10 목표" 사실상 달성. 성분별 D(depth, conf-weighted): 0.015–0.065, M(match): 0.021–0.050, P(photometric): 0.015–0.057, C(cross-view): 0.011–0.025, g(grad): 0.002–0.009. lr 5.8e-06대로 Any4D와 유사한 decay 단계.

DA3-v1 발산 패턴 구조적: step 36,100에서도 ro 항 50–112° 범위. Jun 5 때(20–202°)와 비교하면 최대값이 낮아졌으나 평균 ro≈86° 수준은 동일. depth 성분(d≈0.10–0.28)은 정상이지만 total loss에서 depth 비율 < 1% — rotation이 99%+ 점유. step 35,950에서 최솟값 25.9(ro=50.3°)를 기록했으나 이후 즉시 44–71로 복귀. 14,200 step 더 진행해도 수렴 신호 없음.

DA3-v1 rotation 최근 샘플 (step 34,500 ~ 36,100)

Step	Total loss	ro (rotation°)	d (depth)	비율 (ro/d)
34,500	42.8	84.2°	0.181	~465×
34,650	70.6	139.5°	0.108	~1,292×
35,000	63.7	125.2°	0.192	~652×
35,200	71.9	140.6°	0.165	~852×
35,500	44.9	86.8°	0.230	~377×
35,950	25.9	50.3°	0.124	~406×
36,100	46.3	90.3°	0.197	~458×

Any4D 완주 시점 추정

잔여 8,135 step ÷ 5,457 step/day = 1.49일 → Jun 9 밤 ~ Jun 10 오전 완주 예상. lr cosine decay는 50K step에서 최솟값(0)에 도달하므로, 완주 후 checkpoint의 loss는 현재보다 소폭 추가 하강 가능성 있음.

Any4D: 41,865 / 50,000 (83.7%) — Jun 9–10 완주

DA3-v2: 33,500 / 50,000 (67.0%) — Jun 11–12 완주

DA3-v1: 36,100 / 50,000 (72.2%) — 발산 지속, scancel 고려

4 Takeaway

Any4D 완주 + DA3-v2 loss 달성 → 직접 비교 준비 완료

Jun 5 카드에서 설정한 두 마일스톤이 모두 달성/임박했다. DA3-v2 loss < 0.10은 현재(step 33,500)에서 이미 충족되었으며, Any4D는 Jun 9–10 완주 후 final checkpoint를 얻는다. 이 시점에 동일 RoboCasa 홀드아웃 씬에서 depth PSNR과 pose error를 비교하면 두 backbone의 reward quality 차이를 정량화할 수 있다.

DA3-v2가 Any4D 대비 loss scale로 2.8배 낮다(0.10 vs 0.28). 이 차이가 cross-view attention의 실질적 이득인지, 아니면 loss 정규화 차이에 의한 scale 착시인지가 평가에서 확인해야 할 핵심 질문이다.

DA3-v1 의사결정 시점 도래: step 36,100(~13일 경과)에서도 rotation 항이 depth 성분의 400–1,000배로 폭발. Jun 5 카드에서 "DA3-v2 20K 평가 후 scancel"로 판단 기준을 설정했으며, 그 시점은 이미 지났다. GPU 4장을 Phase 2 RL 첫 실험(FF submodule, Sub-plan #1)으로 전환할 시점.

5 Next Steps

① DA3-v1 종료 및 GPU 4장 회수 (즉시)

scancel 11853 실행. step ~36K checkpoint는 experiments/lgm_robocasa_da3_v0_lossv1_0511_0254/에 보존되어 있으므로 이론적 재현 시 사용 가능. 회수된 GPU 4장을 Phase 2 RL Sub-plan #1 Task 1(FF submodule Cosmos 통합)에 투입.

② Any4D 완주 후 평가 (Jun 9–10)

50K checkpoint로 RoboCasa 홀드아웃 씬 평가:

depth PSNR: Any4D vs DA3-v2 직접 비교
pose estimation error: rotation < 5°, translation < 0.05m 목표
GRPO group reward 분산(σ) 비교 — 분산이 낮으면 RL gradient 약화

③ DA3-v2 최종 수렴 확인 (Jun 11–12)

50K 완주 시 loss < 0.08 달성 여부 확인. 현재 속도(4,717 step/day)로 잔여 16,500 step → ~3.5일. 50K checkpoint에서 위 ②의 동일 평가 실행. Phase 2 RL reward backbone 선택에서 Any4D vs DA3-v2 최종 판단.