Daily Progress — 2026-05-12 (화)

🔥 오늘의 우선순위

RUNNING · 1481 · 8GPU GR00T-Dreams: IDM h50-droid-v2 학습 모니터링 — watcher가 ckpt-30000 자동 eval 예약 완료. 결과 도착 시 baseline 134.8 mm 돌파 여부 확인 필수.
RUNNING · 1667 · 8GPU GR00T-Dreams: liveC_v3_60k 재시작 직후(~10min) — preemption 내성 확인. 방어적 checkpoint 설정 점검.
RUNNING · 1594 · 4GPU VGGRPO: DA3 v2 학습 중 (6h+). loss curve + ckpt 진행 확인. 5/12–13일경 DreamZero-DROID finetune ckpt(job 56237/56238) 5K step 도착 예정 → Phase 2 RL 스타트 준비.
RUNNING · 1580 · 8GPU GR00T-Dreams: 별도 8GPU 학습 진행 중 (6h+). 어떤 실험인지 slurm output 확인 권장.
PREEMPTED · EgoX2 EgoX2/exp3: jobs 1164/1174 preemption 후 재제출 없음. exp3 실험 재개 여부 결정 필요.
PLAN · robomme robomme_policy_learning: BUS task-specific pipeline 설계 완료(260511). bus-v6-20ep COMPLETED(31min) — 결과 분석 후 본격 50ep sweep 제출.

TL;DR

GR00T-Dreams (DreamData): IDM h50-droid-v2 하이브리드 데이터셋 구축 완료 — robomimic 128×128 학습·droid 180×320 eval 카메라 mismatch가 721.6→167.9 mm 실패의 주원인임을 확정. ckpt-10000(17%) 기준 4.3× 개선, baseline 134.8 mm에 근접. 병렬로 Latent-IDM Option D (Δhidden KV) 설계 완료, Phase 0 사전 검증 완료.
VGGRPO: DA3 v2 학습 지속 중(job 1594). Phase 2 RL base를 DreamZero-DROID로 전환 확정 — Sub-plan #1 16→7 task로 축소, 5/12–13일 5K ckpt 대기.
robomme_policy_learning: BinFill ApiMem hybrid 실험 총정리 — 4f hybrid 22% SR (vs LoRA 64%). multi-frame context가 최대 기여 요인. Pro 모델은 cost-performance 불합격(23× 비쌈). BUS task-specific pipeline 설계 착수.
EgoX2: exp3에서 8GPU job 2개 완료(2–4h), 이어진 15h+ job 2개 preempt — 재제출 없음. 코드 변경·문서화 없음.
EgoX_wan2.2 / EgoX_wan2.2_long / Graph_VLM: 어제 활동 없음. 각각 기존 학습 ckpt 대기 / 구현 미착수 / Tier 2 빌드 미착수 상태 유지.

DreamData / GR00T-Dreams High 3 Running

어제 한 일

카메라 mismatch 진단 확정: h50 v2 eval 실패(721.6 mm) 원인 = 학습 robomimic 128×128 agentview ↔ eval droid 180×320 exterior — 완전히 다른 카메라 system.
Hybrid dataset 구축: RobocasaH50DroidPixelIDMDatasetV2 — idm_mg30(droid video) + mg30_real_h50(h50 state) 를 episode_index + frame_index로 cross-source 매칭. 720 ep frame-alignment 검증 통과, diff ≤ 2.98e-08.
Early eval ckpt-10000 (17%): avg_pos_error = 167.9 mm (gripper 92.2%). OOD 721.6 mm 대비 4.3× 개선. baseline 134.8 mm의 124% 수준.
Latent-IDM Option D 설계: Δhidden-as-KV 가설 (adjacent latent frame difference). Phase 0 viz 사전 검증 완료, Phase 1 구현 계획 확정.
Pi05 B2 P3 학습: init0 / mid / random 3종 × 4GPU, ~5h each (jobs 1198/1199/1200) → COMPLETED.
eval jobs 다수 완료: eval_lC_v1/v2, eval_h50_v2, eval_h50_v2_cc128, eval_h50_v2_native, eval_h50_droid_v2.

카메라 mismatch 가설 확정 — 학습-eval 카메라 system 통일만으로 721→167.9 mm(4.3×). 60K step 완료 시 baseline 134.8 mm 돌파 기대.

현재 Running

1481 ● RUNNING IDM h50-droid-v2 학습 | 8GPU | 11h+

1580 ● RUNNING GR00T-Dreams 학습 (확인 필요) | 8GPU | 6h+

1667 ● RUNNING liveC_v3_60k | 8GPU | 방금 재시작

오늘 할 일

ckpt-30000 eval 결과 확인 (watcher 자동 제출, ~7.6h 후 도착 예정)
liveC_v3_60k (1667) preemption 모니터링
Latent-IDM D Phase 1 구현 착수 (dataset delta + action head 분기 + yaml)
IDM 60K 완료 후 Pi05 B0 baseline 재학습 시작

VGGRPO High 1 Running

어제 한 일

Phase 2 RL 계획 업데이트(260511): base model을 Cosmos-Predict2-2B → NVIDIA DreamZero-DROID (Wan2.1-I2V-14B + robocasa finetune job 56237/56238)로 전환 확정. T-layout 3-cam이 LGM_DA3 입력 분포와 매칭.
Sub-plan #1 16→7 task 축소, FF wan21 i2v 어댑터 재활용 — 코드 복잡도 ↓.
DA3 v2 학습(1594) 현재 진행 중 (6h+). 이전 job들은 preemption 연쇄(1302→1316→1357→1397→1406→1414→1525→1594).
1GPU eval job (1182, 1287) 단기 완료.

어제 4GPU job 7회 preempt → extra QOS 경합 심함. sbmr 재시도로 1594 현재 안정 유지 중(6h+). DA3 v1 vs v2 ablation은 두 job 완료 후 비교 예정.

현재 Running

1594 ● RUNNING DA3 v2 학습 (scripts/train_lgm_robocasa_da3_v0.sh) | 4GPU | 6h+

오늘 할 일

1594 loss curve 확인 (ckpt 진전: step 확인)
DreamZero-DROID finetune ckpt (56237/56238 @ 5K step) 도착 여부 확인 (5/12–13 예정)
Phase 2 RL Sub-plan #1 인프라 준비 시작 (Flow-Factory submodule 세팅)
DA3 v1(2903) vs v2(3219) ablation 시점 비교 준비

robomme_policy_learning Medium

어제 한 일 (BinFill ApiMem)

Hybrid πHL 최종 실험 완료: flash-lite 4f hybrid → 22% SR (vs LoRA 64%, ApiMem-only 8%). multi-frame context가 12→22% (+10pp) 최대 기여.
Pro 모델 평가: 7ep sample 28.6%(n=7), 3ep 비용 $0.95 — flash-lite 23× 비쌈. BinFill에 비실용적 판정.
4f hybrid가 LoRA-fail ep를 처음으로 2개 풀었음(ep14, ep18) — multi-frame mt 가치 첫 증거.
BUS task-specific pipeline 설계(260511): bus-v6-20ep COMPLETED (31min, 2GPU). SAM2 + GroundingDINO VideoUnmaskSwap 방향으로 전환.
smoke test 다수: bus-pipeline-smoke-2ep/v2~v6 — v6 통과 후 20ep 제출.

BinFill에서 LoRA 64% vs Hybrid 22% — 42pp 격차는 multi-frame으로도 해소 안 됨. ApiMem의 가치는 OOD / long-horizon task에서 찾아야. BUS(LoRA 약한 task)로 전환 결정.

오늘 할 일

bus-v6-20ep 결과 분석 후 본격 50ep sweep 설계
VideoUnmaskSwap tool calling (SAM2+GroundingDINO) P2 구현 착수
PatternLock / InsertPeg 등 LoRA-weak task에서 4f hybrid 검증

EgoX2 Low

어제 한 일

exp3 8GPU jobs COMPLETED: 1091 (2h57m), 1092 (3h51m)
exp3 8GPU jobs PREEMPTED: 1164 (15h32m), 1174 (11h22m) — extra QOS 경합
재제출 없음. git commits·문서화 없음.

exp3 학습이 preemption으로 중단 후 재개 미확인. 실험 내용·결과 문서화 필요.

오늘 할 일

exp3 완료된 ckpt(1091/1092) 결과 확인 및 문서화
재학습 필요 여부 판단 후 sbmr 재제출

EgoX_wan2.2 No Activity

어제 활동 없음. Phase 2 (저노이즈 expert) 학습 중 (job 37398 계속). 81f validation 대기. EgoX_wan2.2_long 착수 전 안정화 확인 선행 필요.

EgoX_wan2.2_long No Activity

어제 활동 없음. 구현 미착수 상태 유지 — EgoX_wan2.2 81f 안정화가 선행 조건.

Graph_VLM No Activity

어제 활동 없음. Tier 2 그래프 빌드(visual position + occurrence count + container edges) 미착수. 마지막 주요 작업 4/20 (Query plan 3-bug fix + 3 hard benchmark).

Job ID	프로젝트	실행 명령 (JobName)	GPU	상태	실행 시간	노드
1667	GR00T-Dreams	liveC_v3_60k	8	Running	~10m	n6
1580	GR00T-Dreams	taewoongkang (확인 필요)	8	Running	6h 12m	n8
1594	VGGRPO	DA3 v2 학습 (train_lgm_robocasa_da3_v0)	4	Running	6h 06m	n22
1481	GR00T-Dreams	IDM h50-droid-v2 학습	8	Running	11h 08m	n10
1540	robomme	bus-v6-20ep	2	Completed	31m	—
1347	GR00T-Dreams	eval_h50_droid_v2 (ckpt-10000)	1	Completed	40m 19s	—
1198	GR00T-Dreams	pi05_b2_p3_init0	4	Completed	4h 56m	—
1199	GR00T-Dreams	pi05_b2_p3_mid	4	Completed	4h 57m	—
1200	GR00T-Dreams	pi05_b2_p3_random	4	Completed	4h 59m	—
1212	GR00T-Dreams	eval_h50_v2_cc128	1	Completed	36m	—
1092	EgoX2/exp3	taewoongkang (exp3 학습)	8	Completed	3h 51m	—
1091	EgoX2/exp3	taewoongkang (exp3 학습)	8	Completed	2h 57m	—
1526	GR00T-Dreams	liveC_v3_60k (1차)	8	Preempted	1h 15m	—
1525	VGGRPO	DA3 학습 (preempt chain 최종)	4	Preempted	3h 18m	—
1241	GR00T-Dreams	IDM h50-droid-v2 학습 (sbmr 재시도)	8	Preempted	6h 04m	—
1174	EgoX2/exp3	taewoongkang (exp3 학습)	8	Preempted	11h 22m	—
1164	EgoX2/exp3	taewoongkang (exp3 학습)	8	Preempted	15h 32m	—
1414	VGGRPO	DA3 학습 (preempt chain)	4	Preempted	2h 40m	—
1316	VGGRPO	DA3 학습 (preempt chain)	4	Preempted	1h 24m	—
1500	robomme	bus-pipeline-smoke-2ep-share	2	Completed	4m 38s	—
1274	robomme	apimem-VUS-tools-v1-10ep	2	Completed	14m 25s	—

Daily Progress Report

🔥 오늘의 우선순위

TL;DR

프로젝트별 현황

SLURM 요약 (2026-05-11 ~ 05-12)