3-track 최종 수렴 결과 (260612) — DA3-v1 50K 완료(발산) / DA3-v2 50K 완주(수렴) / Any4D 크래시

TL;DR

DA3-v1 (job 11853): step 50K COMPLETED. total_loss 34~49로 완전 발산 확정. ray_origin 60~97, scale 44~47. ✗
DA3-v2 (job 11869): step 49,948/50K (99.9%) RUNNING. loss 0.07~0.14 범위로 안정 수렴. 오늘 중 완주 예상. ✓
Any4D: step 47,775에서 멈춤. Jun 11 크래시(DINOv2 OSError) 이후 재시작 없음. 95.6% 종료.
3-track 중 DA3-v2만 사용 가능한 ckpt 확보. Phase 4(RL) 진입 요건 충족.

50K

DA3-v1 steps

34~49

DA3-v1 total_loss

49.9K

DA3-v2 steps

0.07~0.14

DA3-v2 loss

47.8K

Any4D steps (crash)

1 배경/목적

Jun 11 카드 시점에서 세 트랙이 모두 종반부에 있었다 — DA3-v2(91.8%), DA3-v1(96.8%), Any4D(크래시). 오늘(Jun 12)은 DA3-v1이 50K를 완주하고 job이 COMPLETED 됐으며, DA3-v2도 99.9%에 진입해 사실상 3-track 학습이 종료됐다. 각 트랙의 최종 수렴 결과를 기록하고 Phase 4(RL fine-tuning)로의 전환 판단 근거를 확보한다.

2 작업 내용 (학습 설정 recap)

3개 트랙 모두 lgm_robocasa_*_0511_0254 디렉토리 아래 RoboCasa 24-task multi-view 데이터로 학습. 목표 step 50,000, 4 GPU DDP.

트랙	백본	Loss	SLURM Job	상태	최종 step
DA3-v2	DA3 ViT-L	v2 (L_D+L_M+L_P+L_C+L_grad)	11869	RUNNING (99.9%)	49,948
DA3-v1	DA3 ViT-L	v1 (depth+ray+pose)	11853	COMPLETED	50,000
Any4D	Any4D ViT-L	depth+pose+sf	—	CRASHED (미복구)	47,775

DA3-v2 Loss 구성 (v2): L_total = L_D (conf-weighted depth) + L_M (metric) + L_P (3D point) + L_C (9-DoF cam) + L_grad DA3-v1 Loss 구성 (v1): L_total = depth + ray_origin + ray_dir + rot + trans

3 결과 (수치)

DA3-v2 — 수렴 확인 ✓

step 49,948 기준 loss 0.139. 최근 5K 구간(45K~50K) 평균 0.101~0.161, 최저 0.065(step 49,000). 목표 loss 0.10 이하 반복 달성.

Step	Loss	L_D	L_M	L_P	L_C	L_grad
45,000	0.101	0.024	0.036	0.019	0.019	0.003
46,000	0.121	0.046	0.025	0.032	0.012	0.006
47,000	0.139	0.041	0.040	0.035	0.018	0.005
47,500	0.094	0.028	0.028	0.022	0.012	0.004
48,000	0.119	0.029	0.039	0.029	0.019	0.003
49,000	0.065	0.015	0.024	0.012	0.011	0.003
49,500	0.161	0.039	0.060	0.033	0.026	0.003
49,948	0.139	0.044	0.041	0.034	0.016	0.005

최신 checkpoint: phaseB_9500.pt (step 47,500~50,000 범위 커버).

DA3-v1 — 발산 확정 ✗

step 50,000 완료 시 total_loss ≈ 34~49. ray_origin 60~97, scale 44~47로 폭발. loss v1의 구조적 결함(scale ambiguity 미처리) 확인.

Step	Loss	depth	ray_origin	ray_dir	rot	trans	scale
49,995	34.8	0.147	68.2	0.300	0.097	0.281	44.3
49,997	41.8	0.476	80.4	0.759	0.202	0.531	41.9
49,999	48.9	0.142	96.6	0.169	0.074	0.284	46.6

최신 checkpoint: phaseB_9500.pt 저장됨 — 수치 상 사용 불가.

Any4D — 크래시 미복구

step 47,775 이후 진전 없음. Jun 11 DINOv2 hub race condition(OSError) 크래시 이후 별도 재시작 job 제출 없음. 95.6%(47,775/50,000) 상태로 동결.

마지막 기록: step 47,775, loss 0.225, depth 0.088, pose 0.107, sf 0.060. 수렴 추세는 양호했으나 50K ckpt 미확보.

Jun 11 → Jun 12 delta 요약

트랙	Jun 11	Jun 12	변화
DA3-v2	45.9K (91.8%)	49.9K (99.9%)	+4K, RUNNING→완주 임박
DA3-v1	48.4K (96.8%)	50K (100%)	COMPLETED (발산 확정)
Any4D	47.5K (크래시)	47.8K (동결)	변화 없음 (미복구)

4 Takeaway

DA3-v2 loss v2가 유일하게 수렴. L_D(conf-weighted) + L_P(3D point) + L_C(9-DoF) + L_grad 조합이 scale ambiguity를 명시적으로 억제해 안정 수렴 달성. loss 0.065 달성(step 49,000).

DA3-v1 loss v1은 구조적 실패. ray_origin·scale 폭발이 50K 내내 지속. 수렴 가능성 없음. ckpt 전부 폐기 판정.

Any4D 크래시 — 95.6%에서 종료. DINOv2 hub 로드 race condition은 기존에도 간헐적으로 발생. 재시작 여부는 Any4D 최종 ckpt 필요 여부에 달려 있으나, DA3-v2 수렴으로 우선순위 낮음.

Phase 4(RL) 진입 판단

DA3-v2 phaseB_9500.pt(step ≈ 47,500)이 사용 가능한 geometry backbone으로 확정. loss 0.07~0.14 범위는 이전 DA3 prototype(step 3000, loss ~0.10) 대비 50K 학습으로 안정화. RL 진입 시 이 ckpt를 reward path에 사용하면 된다. DA3-v1 및 Any4D는 ablation 후보에서 제외(Any4D는 ckpt 존재하나 50K 미완주).

5 Next Steps

DA3-v2 50K 완주 확인 (job 11869 COMPLETED 대기, 오늘 중) → 최종 phaseB_10000.pt 확인.
ckpt 평가: RoboCasa validation set에서 DA3-v2 depth/pose metric 측정. step 7500/9500/10000 중 best ckpt 선정.
Phase 4 착수: DA3-v2 best ckpt → reward backbone 장착 → Sub-plan #1 Task 1 (FF submodule) 구현. base: Cosmos-Predict2-2B robocasa-MG30 iter 73.2K.
Any4D 재시작 여부 결정: DA3 vs Any4D 비교 ablation이 필요하면 --checkpoint 옵션으로 47.8K에서 resume. 그렇지 않으면 생략.