Daily Progress — 2026-05-04

🎯 오늘의 우선순위

1
⚠ ALERT VGGRPO — job 4932/4933/4934가 DependencyNeverSatisfied로 PENDING 고착. sbmr retry chain 끊김. 수동으로 새 sbmr 제출 필요 (v1 baseline: lgm_robocasa_da3_v0_0430_1822, v2 sigmoid: lgm_robocasa_da3_v0_lossv2_*).
2
● RUNNING EgoX2/exp3 — job 5430, 4 GPU, worker-2에서 6h21m 실행 중. 현재 step 확인 + loss 추이 모니터링.
3
● RUNNING DreamData/GR00T-Dreams — job 5224 (pi05_p2_full), 4 GPU, worker-10에서 14h28m+ 실행 중. Phase 2 학습 진행 중이므로 loss 확인.
4
✓ CHECK VGGRPO v2 sigmoid — job 4943 COMPLETED (1 GPU, 3h15m, step ~50+). checkpoint 확보 후 v1 vs v2 비교 가능 여부 판단. Step 1500 도달 시 viz 비교 (agent_L/R r 목표: v2 > 0.85, v1 0.95 기준).
5
✓ CHECK DreamData layout 실험 — Layout B T2V, C I2V 결과 확인 (job 38361/38513). Layout A I2V가 현재 베스트 — 전체 비교 준비.

TL;DR

VGGRPO: DA3 loss v2 paper § 3.2 풀 구현 완료 (L_D + L_M + L_P + L_C + L_grad). softplus 파라미터화 실패 → conf 폭주로 L_D 음수 발산, 96 GPU-h 낭비. sigmoid로 교체 후 step 0→50: total 2.36→1.33 (-44%), 클린 수렴 확인. 현재 sbmr chain 끊김으로 3개 잡 고착.
EgoX2: exp3 학습 주말 내내 preemption 반복. 현재 job 5430 RUNNING (4 GPU, 6h+). 최장 연속 실행: job 4594 PREEMPTED 12h11m.
DreamData/GR00T-Dreams: job 4262 COMPLETED 8 GPU 9h15m. pi05_p2_full (job 5224) 현재 RUNNING 14h28m. RoboCasa depth_sealed 데이터 생성 잡 다수 완료.
주말 3일간 커밋 없음 — 실험 실행 + 분석 위주. VGGRPO만 claude 문서 갱신 (260501–260502).
robomme_policy_learning: apimem-BinFill-{ep0, flashlite, noparrot, up512, rescale, pro} 실험 다수 완료.

프로젝트별 카드

VGGRPO High

DA3 backbone 기반 LGM 학습 — video diffusion model의 3D consistency를 4D geometry reward로 강화.
현재: Phase 2 (LGM 구축), DA3 트랙 loss v2 구현 + 학습 중.

v1→v2 Loss 버전

96 낭비 GPU-h (softplus)

-44% Total loss (step 0→50)

3 PENDING (DependencyNever)

📄 작업 문서 (260501–260502)

260501/plan-da3_loss_revision.md

v1 loss의 4가지 격차 분석: ❶ ℒ_P 누락 (depth/ray drift 핀 없음) ❷ confidence weighting 없음 ❸ gradient loss 없음 ❹ scale 정규화 방향 반대. paper § 3.2 정독 후 Priority 매핑: CRITICAL 2개 → HIGH 2개 → MEDIUM 1개 → LOW 2개. Phase A 전체 구현 시간 예상 ~3시간.
260501/progress-da3_loss_v2_implementation.md +260502 업데이트

v2 구현 (260501): 5개 loss term 구현 (L_D conf-weighted + L_M raw 6ch + L_P 3D point + L_C 9-DoF + L_grad). GT-side scale normalization. pose_enc 노출 + cam_dec 직접 호출로 9-DoF supervision. dry run: total 1.96, L_D 0.47, L_M 0.42, L_P 0.52, L_C 0.55, L_grad 0.008. NaN/Inf clean. job 3219 시작.

⚠ 260502 업데이트 — softplus → sigmoid: v2 softplus ~24h (step 5700), r 평균 0.84 vs v1 step 3300 r 0.93으로 역전. 원인: L_D equilibrium D_c = λ_c/|err|이 unit-scale 공간에서 D_c → ∞ 폭주 (|err| ~0.01). L_D 음수 발산 (-0.118 at step 5470). 수정: softplus → sigmoid (D_c ∈ (0,1) bounded). job 4389 fresh start. step 0→50 비교: total 2.36→1.33 (-44%), L_D 0.51→0.106 (-79%). 클린 수렴.

📊 v2 sigmoid vs softplus 비교

v2 softplus (FAILED — job 3219, 96 GPU-h)

step 5700: L_D -0.118 (음수 발산)
r (viz): 0.84 — v1 0.93보다 낮음
conf inflation → depth supervision 흡수
→ CANCELLED, archived

v2 sigmoid (RUNNING — job 4389→)

step 0: total 2.36, L_D 0.51
step 50: total 1.33 (-44%), L_D 0.106 (-79%)
D_c bounded (0,1) → L_D 항상 양수
→ fresh dir: lgm_robocasa_da3_v0_lossv2_*

🖥 SLURM 상태

CANCELLED job 3219 — v2 softplus, 1d5h × 4 GPU (실패, archived)
PREEMPTED job 4268 — v1 baseline, 9h41m × 4 GPU, step ~3300
PREEMPTED job 4389 — v2 sigmoid, 5h12m × 4 GPU, step ~50+
CANCELLED job 4528 — v2 sigmoid retry, 13h27m × 4 GPU
PREEMPTED job 4531 — v2 sigmoid retry, 2h48m × 4 GPU
CANCELLED job 4754 — v2 sigmoid retry, 7h55m × 4 GPU
COMPLETED job 4943 — 1 GPU, 3h15m (마지막 성공 체인)
PENDING job 4932/4933/4934 — 4 GPU × 3잡, DependencyNeverSatisfied 고착

sbmr 5회 retry chain에서 의존 job이 CANCELLED/PREEMPTED → afterok dependency 충족 불가 → DependencyNeverSatisfied. scancel 후 sbmr 5 "bash scripts/train_lgm_robocasa_da3_v0.sh"로 수동 재시작 필요.

📌 오늘 할 일

job 4932/4933/4934 scancel 후 v1 & v2 각각 sbmr 재시작
v2 sigmoid step 500/1000 viz 확인: depth 구조 잡히는지, conf map 분포 유의미한지
FOV convention round-trip 검증 (pose_encoding_to_extri_intri 역변환)
DDP find_unused_parameters 이슈 watch (rank hang 여부)
v1 (step ~3300) vs v2 (step ~50) 차이 — v1 먼저 1500 넘으면 agent_L/R r 비교 가능

EgoX2 Medium

3D consistency 개선 실험 (EgoX 베이스). exp3 디렉토리에서 집중 학습 중.
주말 내내 preemption 반복 → 현재 job 5430 RUNNING (worker-2, 4 GPU, 6h21m).

~30 3일간 잡 수

12h11m 최장 연속 (job 4594)

4→8 GPU 증설 시도

RUNNING job 5430

🖥 주요 SLURM 이력

RUNNING job 5430 — 4 GPU, worker-2, 6h21m+
PREEMPTED job 4594 — 4 GPU, 12h11m (05-03 04:35~16:46)
PREEMPTED job 4491 — 8 GPU, 2h17m (8 GPU 증설 시도)
PREEMPTED job 4245/4257 — 8 GPU, 0h57m / 0h40m
COMPLETED job 3294 — 4 GPU, 3h57m
COMPLETED job 3443 — 4 GPU, 0h39m
COMPLETED job 3908 — 4 GPU, 0h40m

4 GPU → 8 GPU 증설 시 preemption 빈도 증가. 현재 4 GPU로 복귀하여 안정적 실행 중. 4 GPU에서 3~4h 단위 실행 패턴. 8 GPU는 자원 경쟁으로 자주 선점됨.

📌 오늘 할 일

job 5430 현재 step / loss 확인
8 GPU vs 4 GPU preemption 빈도 비교 후 전략 결정
claude/context.md 작성 필요 (현재 없음)

DreamData / GR00T-Dreams Medium

Video generation으로 로봇 데이터 증강. Stage 1: RoboCasa MG-30 × Multi-view Layout 실험.
GR00T-Dreams (pi05_p2_full): Phase 2 학습. RoboCasa depth_sealed: GT depth 데이터 생성.

RUNNING job 5224 (pi05_p2)

9h15m job 4262 완료 (8GPU)

~12 robocasa 태스크 완료

PENDING job 5265 (8GPU)

🖥 GR00T-Dreams SLURM 이력

RUNNING job 5224 — pi05_p2_full, 4 GPU, worker-10, 14h28m+
PENDING job 5265 — taewoongkang, 8 GPU (Resources 대기)
COMPLETED job 4262 — taewoongkang, 8 GPU, 9h15m (05-02 14:11~23:26)
COMPLETED job 4918 — taewoongkang, 1 GPU, 0h31m
PREEMPTED job 4919 — pi05_p2_full, 4 GPU, 2h33m
PREEMPTED job 3888 — pi05_p2_full, 4 GPU, 11h45m

🖥 RoboCasa depth_sealed 데이터 생성 (DreamData)

주말 동안 depth_sealed 태스크 다수 완료: PnPCounterToSink ✅ (9h03m), CloseSingleDoor ✅ (7h05m), CoffeeServeMug ✅ (7h12m), OpenDrawer ✅ (6h16m), PnPCounterToMicrowave ✅ (9h24m), CloseDrawer ✅ (7h10m), TurnOffMicrowave ✅ (11h18m), OpenSingleDoor ✅ (11h13m), OpenDoubleDoor ✅ (10h52m), TurnOnMicrowave ✅ (11h11m), PnPCabToCounter ✅ (8h22m). 다수 태스크가 preempt 후 자동 재시작으로 최종 완료됨.

📌 DreamData Layout 실험 현황

Layout A + I2V: 현재 베스트 (GT 일관성, 3분할 구조 학습 최선)
Layout B T2V (job 38361) / Layout C I2V (job 38513) — 완료 시 전체 비교 예정
전처리 v2 (motion crop + task-balanced sampling) 아직 미적용

📌 오늘 할 일

job 5224 (pi05_p2_full) loss 확인 — Phase 2 진행 상황
job 5265 (8 GPU) PENDING 해소 확인
Layout B/C 학습 완료 여부 + 샘플 정성 비교

robomme_policy_learning Medium

apimem-BinFill 계열 ablation 실험. 다양한 변형 (ep0, flashlite, noparrot, up512, rescale, pro) 비교.

🖥 완료된 실험

COMPLETED apimem-BinFill-ep0 — 2 GPU, 0h44m (job 3218)
COMPLETED apimem-BinFill-flashlite — 2 GPU, 1h06m (job 3279)
COMPLETED apimem-BinFill-noparrot — 2 GPU, 1h19m (job 3317)
COMPLETED apimem-BinFill-up512 — 2 GPU, 0h16m (job 4283)
COMPLETED apimem-BinFill-rescale — 2 GPU, 0h40m (job 4429)
COMPLETED apimem-BinFill-pro — 2 GPU, 0h05m (job 4430)
FAILED apimem-BinFill-pro — 2 GPU (job 4284, 실패 후 재시도)

SLURM 요약 테이블

주요 잡 (2026-05-01 ~ 05-04, 현재 상태 포함)

Job ID	프로젝트	실행 명령 (JobName)	GPU	상태	실행 시간	비고
5430	EgoX2/exp3	taewoongkang	4	RUNNING	6:21:32+	worker-2
5224	GR00T-Dreams	pi05_p2_full	4	RUNNING	14:28:14+	worker-10
5265	GR00T-Dreams	taewoongkang	8	PENDING	—	Resources 대기
4932/33/34	VGGRPO	taewoongkang	4×3	PENDING	—	DependencyNeverSatisfied
4943	VGGRPO	taewoongkang	1	COMPLETED	3:15:31	v2 sigmoid step ~50+
4528	VGGRPO	taewoongkang	4	CANCELLED	13:26:38	v2 sigmoid retry
4268	VGGRPO	taewoongkang	4	PREEMPTED	9:41:23	v1 baseline ~step 3300
4389	VGGRPO	taewoongkang	4	PREEMPTED	5:11:36	v2 sigmoid fresh start
3219	VGGRPO	taewoongkang	4	CANCELLED	1-05:03:21	v2 softplus 실패 (96 GPU-h)
4262	GR00T-Dreams	taewoongkang	8	COMPLETED	9:15:04	05-02 14:11~23:26
4594	EgoX2/exp3	taewoongkang	4	PREEMPTED	12:11:00	최장 연속 실행
4491	EgoX2/exp3	taewoongkang	8	PREEMPTED	2:16:38	8GPU 시도 (preempt 잦음)
4140	DreamData/robocasa	depth_sealed_PnPCounterToSink	1	COMPLETED	9:03:18	GT depth 생성
4141	DreamData/robocasa	depth_sealed_CloseSingleDoor	1	COMPLETED	7:05:22	GT depth 생성
4429	robomme_policy	apimem-BinFill-rescale	2	COMPLETED	0:40:04	BinFill ablation

🎯 오늘의 우선순위

TL;DR

프로젝트별 카드

📄 작업 문서 (260501–260502)

📊 v2 sigmoid vs softplus 비교

🖥 SLURM 상태

📌 오늘 할 일

🖥 주요 SLURM 이력

📌 오늘 할 일

🖥 GR00T-Dreams SLURM 이력

🖥 RoboCasa depth_sealed 데이터 생성 (DreamData)

📌 DreamData Layout 실험 현황

📌 오늘 할 일

🖥 완료된 실험

SLURM 요약 테이블

주요 잡 (2026-05-01 ~ 05-04, 현재 상태 포함)

활동 없는 프로젝트