Daily Progress — 2026-05-15

⚡ 오늘의 우선순위

▶ RUNNING Job 3052/3053 — feat_delta_{diff,reg} qnorm 재학습 모니터링. ~7h 경과, 60K step 완료 예정. 완료 후 즉시 나머지 6 cell qnorm 제출.
1 나머지 6 cell q01/q99 norm 재학습 제출 — run_idm_2x2x2_qnorm_{pix_*,feat_abs_*,feat_delta_diff}.sh × 6, 각 4 GPU × 60K step
2 Feature closed-loop eval 구현 — Cosmos encoder → subprocess worker에 추가. pixel CL 대비 OOD robustness 확인. 예상 비용 ~3.5h × 4 cell.
3 liveC_v3_60k 8 GPU 반복 preempt (×6) 해소 — --qos=own 가용 여부 확인 후 재제출 또는 분산
4 Pi0.5-Delta IDM v2 (state on, job 2650 resume) 상태 점검 — HANDOFF_pi05_delta_idm.md 참조

TL;DR

IDM 3-axis ablation (input × frame × loss) 8-cell × 24-ep heldout 전수 완료 → feat_delta_reg 104.79 mm 최고 (Pixel v2_8gpu baseline 134.8 mm 대비 −30mm / −22%)
Feature 4 cell이 Pixel 4 cell 전체를 평균 −62% 압도. Feature side 18 mm 분산 vs Pixel 182 mm 분산 — Cosmos representation의 temporal coherence 우위 확립.
Closed-loop eval (Pixel 4-cell): OL 1위 pix_delta_diff (181 mm) → CL 4위 577 mm (+218%) 추락. OL averaging이 single-prediction fragility를 가렸음. Regression > Diffusion in CL.
현재 q01/q99 norm 재학습 2 jobs RUNNING (feat_delta_diff, feat_delta_reg). 나머지 6 cell + Feature CL eval이 즉시 다음 단계.
Pi0.5-Delta IDM v1 SR=2.2% (목표 대비 5× 미달) → v2 state-on 학습 중. liveC_v3_60k는 6회 preempt 반복으로 진전 없음.

프로젝트별 현황

DreamData / GR00T-Dreams High

IDM ablation · Pi0.5-Delta · DreamGen datagen · robocasa eval pipeline

104.79 feat_delta_reg mm

−62% Feature vs Pixel avg

+218% CL degradation (pix_Δ_diff)

2 Jobs RUNNING

IDM 2×2×2 Ablation — 24-ep Open-Loop (완료)

3-axis 직교 ablation: input(pixel/feature) × frame(abs/Δ) × loss(diffusion/regression). hybrid v2 pack (video=idm_mg30 droid 180×320, state=mg30_real_h50 h50 16-dim). 4 GPU × eff batch 64 × 60K step.

Rank	Cell	EEF mm	Action L2	Gripper Acc
1 ⭐	feat_delta_reg	104.79	0.59	84.06%
2	feat_abs_reg	108.58	0.56	86.69%
3	feat_delta_diff	114.42	0.60	84.47%
4	feat_abs_diff	122.91	0.57	85.70%
5	pix_delta_diff	181.63	0.48	88.34%
6	pix_delta_reg	302.94	0.61	87.04%
7	pix_abs_diff	339.02	1.16	75.77% ⚠
8	pix_abs_reg	363.88	0.65	87.84%

Feature representation 절대 우위 — 4 feat cell (104–123 mm) 이 4 pixel cell (182–364 mm) 전체를 압도. 평균 −62%. Cosmos hidden의 sequential pretraining이 IDM에 결정적.

Action L2 ≠ Sim EEF — pix_delta_diff가 frame-level L2 best (0.48) 이지만 sim 시간 적분 시 181 mm (rank 5). feat_delta_reg는 L2 0.59 지만 sim drift 최소 (104 mm). Temporal coherence가 IDM의 본질 metric.

Loss × Modality interaction — Feature side: regression slightly helpful (−10%). Pixel side: regression HURTS, 특히 Δ+reg 조합 시 +67% 악화 (182→303 mm). 잘못된 axis 결합 시 대참사.

IDM Closed-Loop Eval — Pixel 4-Cell (완료)

매 16 step마다 sim render + GT t+16 frame → IDM 재예측. subprocess IPC (gr00t-idm env ↔ robocasa env, pickle framing). SLURM: 3158 preempt → 3161 preempt → 3163 clean (13:50, share QOS 2회 추방 후 완료).

Cell	OL 24-ep	CL 24-ep	Δ	%Δ	Grip(CL)
pix_abs_diff	339.0	435.5	+96.5	+28%	59.2% ⚠
pix_abs_reg	363.9	354.3	−9.6	−3%	88.0%
pix_delta_diff ⚡	181.6	576.6	+395	+218%	88.4%
pix_delta_reg	302.9	327.0	+24.1	+8%	84.7%

OL→CL 랭킹 역전 — pix_delta_diff: OL 1위(181 mm) → CL 4위(577 mm, +218%). OL averaging이 single-prediction fragility를 가렸음. CL best는 pix_delta_reg (327 mm). Regression이 Diffusion보다 CL에서 훨씬 robust.

Modality mismatch dominant — 모든 CL 결과 (327–576 mm) 가 OL feature (104–122 mm) 대비 3–5× 나쁨. sim view ≠ droid view (학습 분포 밖). Feature CL은 Cosmos encoder 추가 시 분포 gap 일부 해소 기대.

현재 RUNNING

RUNNING 3053 run_idm_2x2x2_qnorm_feat_delta_reg.sh · 4 GPU own · ~7h 경과

RUNNING 3052 run_idm_2x2x2_qnorm_feat_delta_diff.sh · 4 GPU own · ~7h 경과

현재 norm: absolute min/max (no clamping). q01/q99 + clamp으로 재학습. 학습 안정성 ↑ → 절대 EEF 개선 기대. 완료 후 나머지 6 cell qnorm도 제출 필요 (×6, ~7일 총).

작업 문서 (260514)

analysis analysis-idm_2x2x2_full_eval.md 260514 04:01
analysis analysis-idm_closed_loop_pixel.md 260514 04:17
handoff HANDOFF_idm_2x2x2.md (자립형 핸드오프) 260514 04:18
handoff HANDOFF_pi05_delta_idm.md 260514 13:17

다음 (Next)

›q-norm 나머지 6 cell 제출 (pix_abs_diff, pix_abs_reg, pix_delta_diff, pix_delta_reg, feat_abs_diff, feat_abs_reg)
›Feature closed-loop eval 구현: Cosmos encoder를 inference worker에 추가 → 4 feature cell CL eval (~3.5h)
›Best cell (feat_delta_reg) × batch 1024 SOTA 재학습: eff batch 64 기준 이미 Pixel batch-1024 baseline 능가, batch 1024 추가 개선 기대
›Pi0.5-Delta IDM v2 (state on): 학습 완료 후 eval SR 측정. v1 SR=2.2% 대비 state 정보 효과 검증

cosmos-policy & memer Medium

Target 6 외부 — robocasa policy 평가 인프라 + VFX mujoco 검증

어제 한 일

DONE cosmos-policy: cosmos_smoke → cosmos_diag → cosmos_full_s195/196/197 순차 실행. 각 ~29–30분, 1 GPU. RoboCasa scene 195/196/197 full inference 완료.
DONE memer: robocasa_memer_tier1_lora (Job 2448) — 4 GPU, 1:49 완료. 앞선 2435는 CANCELLED (01:09), 2434는 1:29 완료 후 재제출.
DONE memer: vfx_share3/4, vfx_mujoco326 (1 GPU, ~30–120분). mujoco 3.2.6 환경 검증 작업.

SLURM 작업 요약

Job ID	프로젝트	실행 명령 (JobName)	GPU	상태	실행 시간	노드
3053	GR00T-Dreams	run_idm_2x2x2_qnorm_feat_delta_reg.sh	4	RUNNING	7h+	n40
3052	GR00T-Dreams	run_idm_2x2x2_qnorm_feat_delta_diff.sh	4	RUNNING	7h+	n20
3163	GR00T-Dreams	eval_idm_closed_loop (bash)	4	DONE	13:50	—
3161	GR00T-Dreams	eval_idm_closed_loop (bash)	4	PREEMPT	5:53	—
3158	GR00T-Dreams	eval_idm_closed_loop (bash)	4	PREEMPT	10:50	—
2447	GR00T-Dreams	pi05_delta_idm	4	DONE	3:56:49	—
2394	GR00T-Dreams	taewoongkang (학습)	8	PREEMPT	15:22:05	—
2373	GR00T-Dreams	taewoongkang (학습)	4	DONE	15:54:19	—
2365	GR00T-Dreams	taewoongkang (학습)	4	DONE	14:30:37	—
2451/2449/2442/2420/2413/2408	GR00T-Dreams	liveC_v3_60k (×6 반복)	8	PREEMPT×6	16–120min	—
2333–2336	GR00T-Dreams	pi05_eval_b{0,2}_p3_* (4종)	1	DONE	~9h each	—
2389–2390	GR00T-Dreams	pi05_eval_b2_p3_*_new_stats (2종)	1	DONE	~9h each	—
2452–2458	GR00T-Dreams	p5d_005000_* evals (7종)	1	DONE	24–48min	—
3093–3157	GR00T-Dreams	p5d_020000_* evals (18태스크 ×2)	1	DONE	<1min each	—
2428–2430	cosmos-policy	cosmos_full_s195/196/197	1	DONE	~29min each	—
2448	memer	robocasa_memer_tier1_lora	4	DONE	1:49	—

※ .batch 서브작업 제외. liveC_v3_60k 6회 연속 preempt — own QOS 가용 여부 확인 필요. p5d_020000 eval이 오전 2~3시에 대량 제출됨 (~40 jobs).

비활성 프로젝트

EgoX_wan2.2의 context에는 jobs 37398/38197이 RUNNING으로 기재되어 있으나 현재 sacct에 나타나지 않음 — 구형 job ID이거나 종료된 상태. 직접 확인 필요. DreamData Wan LoRA도 동일 (38361, 38513).