260505에 sealed RoboCasa 데이터(∞ depth 제거, 3000 demos)로 3-track fresh start를 동시에 시작했다. 그 시점 step 2000 preliminary 결과에서 DA3-v2 sigmoid는 sub QOS의 잦은 preemption 때문에 실질적으로 ~800 step만 진행된 상태였다. 이제 세 잡 모두 step 2700~4200 구간에 진입해 수렴 특성을 본격적으로 비교할 수 있다.
현재 활성 잡: 6811 (11h07m, May 5 22:34 시작) / 7667 (8h42m, May 6 00:59 시작) /
7689 (7h52m, May 6 01:49 시작). train_log.csv 모두 오늘 09:42 갱신 확인.
May 5에 preemption 연쇄(6229/6248/6454/6460/6472/6488/6768) 후 현재 잡들이 재안착됨.
세 track 모두 동일 조건으로 sealed 데이터 대상 phase B 학습 중.
| Track | Step | Total Loss | 주요 항목 | 수렴 상태 |
|---|---|---|---|---|
| DA3-v2 sigmoid | 2700 | 0.182 | L_D 0.046 / L_M 0.055 / L_P 0.042 / L_C 0.034 / L_grad 0.004 | 안정 수렴 ✓ |
| Any4D | 4195 | 0.224 | depth 0.151 / pose 0.061 / sf 0.024 | 안정 수렴 ✓ |
| DA3-v1 | 3715 | 1.47 | ray_origin 2.76 / depth 0.044 / ray_dir 0.027 | ray_origin 지배, 불안정 ✗ |
| Step | Any4D (total) | DA3-v1 (total / ray_origin) | DA3-v2 (total) |
|---|---|---|---|
| 0 | 1.276 | — / — | 2.471 |
| 1000 | 0.395 | — / — | 0.321 |
| 2000 | 0.332 | 1.585–1.604 / 2.93–2.96 | 0.153 |
| 3000 | 0.384 | 0.934 / 1.598 | — |
| 4000 | 0.230 | — / — | — |
| Latest | 0.224 (step 4195) | 1.47 / 2.76 (step 3715) | 0.182 (step 2700) |
| Step | Total | L_D (depth) | L_M (ray) | L_P (3D pt) | L_C (pose) | L_grad |
|---|---|---|---|---|---|---|
| 0 | 2.471 | 0.620 | 0.746 | 0.627 | 0.474 | 0.004 |
| 1000 | 0.321 | 0.089 | 0.091 | 0.083 | 0.052 | 0.006 |
| 2000 | 0.153 | 0.032 | 0.063 | 0.029 | 0.026 | 0.003 |
| 2700 (latest) | 0.182 | 0.046 | 0.055 | 0.042 | 0.034 | 0.004 |
step 2000→2700 사이 소폭 상승은 preempt resume 후 LR re-warmup 또는 noise — 전반적 추세는 하강.
v2에서 D_c = sigmoid(conf)로 confidence를 (0,1) bounded로 제한한 것이
depth loss 안정화에 결정적. v1의 per-clip ray_origin 항은 unbounded하게 커지는 경향이 있어
step 3000 이후에도 진동이 반복됨. DA3-v2는 paper §3.2의 5-term supervision이
균형 있게 수렴하며 "L_P(3D point recovery)"가 depth와 ray를 동시에 묶어주는 역할을 하는 것으로 보임.
Any4D는 depth + pose + scale factor만 감독하므로 절댓값 loss가 작게 유지됨. DA3-v2의 total 0.182와 직접 비교는 불가. 중요한 것은 viz에서의 depth quality와 downstream reward signal 상관관계이며 이는 ~5000 step 이후 viz r값 비교로 결정.
per-clip alignment에서 ray_origin term이 step 3000 이후 재발산하는 이유 파악 필요.
가설: origin에 대한 scale normalization이 없거나, per-clip alignment scale이 clip마다 달라서
gradient 방향이 불일치. phase_b_loss_da3.py의 origin 계산 로직 재검토.
만약 v1이 ~5000 step 이후에도 수렴 안 되면 해당 트랙 조기 종료 고려.
experiments/*/viz/step_5000.png 생성 후 depth correlation (r) 측정.
260421 카드 기준 PhaseB v1이 step 3300에서 r=0.93 달성. 이번 Any4D / DA3-v2가
같은 step 대비 r 몇인지가 핵심 비교 지점. viz 이미지 정성 비교도 병행.
scale 컬럼 (per-clip mean ‖P‖₂) 이 2.2~5.1 사이를 오감.
step이 쌓일수록 scale 분산이 줄어드는지 확인. 만약 계속 불안정하면
running mean normalization 도입 검토 (λ_c 조정보다 우선순위 낮음).
DA3-v2 / Any4D 중 우수한 track이 step ~8000에서 안정 수렴하면 GRPO reward signal 통합(Phase 3) 진입 가능. 현재 진행 속도(4 GPU, ~200 step/h 추정)로는 5000 step 도달에 5h 내외.