Daily Progress — 2026-05-14

오늘의 우선순위

즉시 pi05_delta 10K ckpt eval 결과 확인 — p5d_010000_* jobs RUNNING 중. EEF mm 측정 후 Latent-A best (107.5mm) 와 비교. 목표: <107mm.
RUNNING feat_delta_diff (job 2365, 4GPU, ~13h) / feat_abs_diff (job 2394, 8GPU, ~11h) — IDM 2×2×2 Feature half 학습 중. 완료 시 즉시 eval 제출하여 8-cell full ablation 완성.
RUNNING GR00T-Dreams job 2373 (4GPU, n20, 10h+) — JobName이 taewoongkang으로만 표시됨. 내용 확인 필요 (sjob 2373).
PENDING liveC_v3_60k (job 2551, 8GPU) — AssocGrpGRES 이유로 PENDING. 그룹 GPU 한도 초과. 현재 3개 job (24 GPU 점유) → 완료 대기 또는 extra QOS로 재제출 검토.
대기 EgoX2 / VGGRPO — 어제 각각 5회/7회 preempted. extra QOS로 돌리는 중이라 계속 밀릴 수 있음. own QOS 가용량 확인 후 전환 검토.

GR00T-Dreams HIGH ● 3 RUNNING

Robotics/GR00T-Dreams

어제 한 일

IDM 2×2×2 Pixel Ablation 완료 (4 cells, 60K step each)
3-axis 직교 ablation (input modality × frame representation × loss type) 중 pixel half 결과 도출.

Cell	avg EEF mm	gripper acc	비고
pix_abs_diff	344.08	75.80%	baseline
pix_abs_reg	363.88	87.84%	regression worst
pix_delta_diff	189.83 ⭐	88.20%	Δ+diffusion best
pix_delta_reg	302.94	87.04%	Δ alone 불충분

핵심: Δ representation alone으로 -45% EEF mm. batch 1024 보정 시 ~95mm 예상 → 새로운 SOTA 후보. Feature half (feat_*) 4 cell은 학습 중 (jobs 2365/2394).

Pi0.5 Action Stats 버그 발견 및 수정 (260513)
5개 dataset stats.json이 모두 template 복사값 — 실측 분포와 불일치. gripper dim(dim 6): 실측 binary ±1, stats q01=-0.925 → unnormalize 범위 제한 → close-task SR=0 근본 원인. scripts/recompute_stats_action_state.py로 4 dataset 실측 재계산 후 Pi0.5 mix 학습 (jobs 2077→2355, 2078→2356, 2079→2357) 재제출·완료. 이전 B0/B1/B2 실험 전체 영향권 — stats fix 이후 결과가 별도 lineage.

Pi0.5 Delta-IDM 신규 트랙 구축 (Phase 0–7, 260513)
PaliGemma 전체(vision+LLM+action_expert)를 IDM 용도로: 2-frame forward delta(x_{t+16}−x_t) 입력.

· 신규 policy 타입 pi05_delta 등록 (monkey-patch 방식, 6파일 수정)
· 단위 테스트 9/9 PASS (55.39s)
· Smoke: 100 step loss 0.395→0.148 (-62.5%), 기준 통과
· Full train Job 2447: 4GPU, 20K step, 3h56m, COMPLETED
· Eval script scripts/eval_pi05_delta_idm.py (473 lines, 24-task heldout)
· p5d_005000_* 5K ckpt eval: 전체 COMPLETED (약 30–48분/task)
· p5d_010000_* 10K ckpt eval: 현재 RUNNING

기타 완료

Pi0.5 B0/B2 5-ep eval (jobs 2229-2232) + 20-ep eval (jobs 2333-2336, 2389-2390) 완료
pi05_delta_smoke (job 2433/2436), pi05_delta_idm (job 2447) eval wrapper 완성
liveC_v3_60k: 어제 14회 preempted (8GPU 경쟁 심함)

오늘 할 일

p5d_010000 결과 집계: 24개 task eval → avg EEF mm + per-task SR 측정. <107.5mm 달성 시 batch 1024 재학습 계획 수립
feat_* ablation 완료 대기 (2365: feat_delta_diff, 2394: feat_abs_diff) → 완료 시 eval 제출 → 8-cell 통합 분석표 작성
2373 정체 확인: sjob 2373 으로 실제 실행 내용 파악
liveC_v3_60k: GrpGRES 해소 후 재시작 여부 판단
stats fix 효과 분리: 구 ckpt(1198-1200)에 새 stats unnormalize 적용 → inference 재실행으로 학습 재실행 없이 효과 측정 가능

VGGRPO MEDIUM

EgoW/VGGRPO

어제 한 일

반복 Preemption — 실질 학습 진전 없음
어제 VGGRPO 관련 jobs: 1845, 2212, 2223, 2236, 2269, 2285 — 전부 PREEMPTED/CANCELLED. 최장 실행 ~3h24m (job 2236), 나머지는 11~22분 만에 중단. DA3 v1 (job 2903), DA3 v2 (job 3219) 학습은 이전부터 진행 중이나 어제 sacct 미포함 — 상태 불명.

새 claude 문서 없음 (마지막 문서: 260510 plan-vggrpo_phase2_rl.md)
Phase 4 (RL fine-tuning) 사전 계획 완성 상태 — 착수 대기 중
Base ckpt: Cosmos-Predict2-2B robocasa-MG30 iter 73.2K (GR00T-Dreams repo에 저장)

오늘 할 일

DA3 v1/v2 현재 step 확인 → ablation 비교 계획 (1500/3000/5000 step)
extra QOS 대신 own QOS 전환 검토 — 반복 preemption 방지
Phase 4 (Flow-GRPO sub-plan #1: FF submodule) 착수 여부 결정

EgoX2 LOW

EgoX2/exp3

어제 한 일

5회 Preemption — 누적 실행 시간 ~27분
Jobs 1844, 2211, 2233, 2287, 2320 — 모두 PREEMPTED. 8 GPU extra QOS, 최장 run 21h37m (job 1844, 5/12 시작 → 5/13 종료). context.md 미존재 — 무엇을 학습 중인지 불명확.

claude 문서 없음, git commit 없음
WorkDir: EgoX2/exp3 (3D consistency 개선 실험 서브디렉토리)

오늘 할 일

현재 실행 스크립트 확인 — 무엇을 학습 중인지 파악 후 context.md 작성
8 GPU extra → own QOS 전환 가능 여부 확인 (core 그룹 최대 8 GPU own)

비활성 프로젝트

DreamData No activity Stage 1 진행 중 (Layout B/C 학습, context 상 38361/38513). 어제 커밋·문서 없음.

EgoX_wan2.2 No activity 81f Phase 2 학습 중 (job 37398, 2d+ running). 어제 커밋·문서 없음.

EgoX_wan2.2_long No activity 구현 미착수. EgoX_wan2.2 안정화 대기 중.

Graph_VLM No activity Tier 2 그래프 빌드 개선 대기 중. 어제 커밋·문서 없음.

SLURM 작업 요약 (2026-05-13 ~ 2026-05-14)

Job ID	프로젝트	실행 명령 (JobName)	GPU	상태	실행 시간	비고
GR00T-Dreams — RUNNING (현재)
`2365`	GR00T-Dreams	feat_delta_diff (IDM 2×2×2)	4	● RUNNING	13h+	n12, own
`2394`	GR00T-Dreams	feat_abs_diff (IDM 2×2×2)	8	● RUNNING	11h+	n32, extra
`2373`	GR00T-Dreams	taewoongkang (미확인)	4	● RUNNING	10h+	내용 확인 필요
`2555–2561`	GR00T-Dreams	p5d_010000_* (pi05_delta 10K eval)	1×7	● RUNNING	~30m	per-task eval
`2551`	GR00T-Dreams	liveC_v3_60k	8	◌ PENDING	—	AssocGrpGRES 대기
GR00T-Dreams — 완료 (주요)
`2447`	GR00T-Dreams	pi05_delta_idm_4gpu (20K step full train)	4	COMPLETED	3h56m	loss@200: 0.158
`2360/2362/2363`	GR00T-Dreams	pix_{abs,delta}_{diff,reg} (IDM pixel cells)	4×3	COMPLETED	~3h52m	pixel half done
`2452–2481`	GR00T-Dreams	p5d_005000_* (pi05_delta 5K eval, 18 tasks)	1×18	COMPLETED	25–48m	5K ckpt done
`2333–2336`	GR00T-Dreams	pi05_eval_b{0,2}_p3_*_20ep (20-ep eval)	1×4	COMPLETED	~9h	B0/B2 baseline
`2355/2356/2357`	GR00T-Dreams	pi05_b2_p3_{init0,mid,random}_new_idm (stats fix)	4×3	COMPLETED	~5–6m	stats 재계산 후 재제출
`2436`	GR00T-Dreams	pi05_delta_smoke	1	COMPLETED	5m	loss -62.5%
GR00T-Dreams — Preempted (liveC_v3_60k, 반복)
`2080,2083,2199 2209,2235,2239 2267,2408,2413 2420,2442,2449 2451,2476`	GR00T-Dreams	liveC_v3_60k	8	PREEMPTED ×14	0m–8h44m	GrpGRES 경쟁
EgoX2 — exp3 학습
`1844,2211 2233,2287,2320`	EgoX2	taewoongkang (EgoX2/exp3)	8	PREEMPTED ×5	10m–21h37m	extra QOS
VGGRPO — DA3 학습
`1845,2212,2223 2236,2269,2285`	VGGRPO	taewoongkang (EgoW/VGGRPO)	4	PREEMPTED ×6	11m–3h24m	extra QOS
`2327`	VGGRPO	taewoongkang (VGGRPO)	4	CANCELLED	1h37m	by admin
cosmos-policy — Smoke 테스트
`2422–2430`	cosmos-policy	cosmos_{smoke,diag,diag2,full_s195/196/197}	1	COMPLETED	0–30m	3 scene 생성 완료
memer — LoRA Smoke
`2434/2435/2448`	memer	robocasa_memer_tier1_lora	4	COMPLETED / CANCELLED	1m / 1h09m	smoke pass, 본 실행 취소

2026-05-14 목요일

오늘의 우선순위

TL;DR