Daily Progress — 2026-05-29

molmoact2 eval 060K RUNNING 025K→055K 7-checkpoint sweep 완료. 060K (Job 10539) 현재 ~2hr 진행 중. 완료 후 전 구간 성능 커브 정리.

GR00T-Dreams frappe_moe eval RUNNING ~10hr finetuning (Job 10491) 완료 후 첫 평가 (Job 10541). midA/midB 결과 대비 성능 확인 필요.

molmoact2 main training RUNNING mac2_robocasa_mg3000_fixstats, 8GPU own (Job 10087), Day 2+. WandB loss curve 및 step 진행률 확인.

DreamData Layout B/C 학습 확인 Job 38361 (Layout B T2V), 38513 (Layout C I2V) 진행률. Layout A+I2V 대비 비교 준비.

EgoX_wan2.2 Phase 2 진행 확인 Job 37398 (PHASE=2, 8GPU, 2d+). loss curve, validation 이미지 정성 평가. expert swap 정상 동작 검증.

VGGRPO DA3 v1 vs v2 비교 Job 2903 (v1, step ~1948) vs Job 3219 (v2 paper-aligned). 1500/3000 step 시점 depth quality 비교.

TL;DR

• molmoact2 eval sweep: checkpoint 025K→055K 7개 평가 순차 완료 (각 ~5hr, 1GPU). 060K RUNNING. 8GPU main training Job 10087 Day 2+ 지속 중.

• frappe/GR00T-Dreams: finetune_pi05_frappe_moe 3번 시도 끝에 Job 10491 (~10hr, 4GPU) 성공 완료. Job 10540 CANCELLED by system → 10541로 재제출 (--qos=extra), eval RUNNING. midA/midB eval 각 ~7hr 완료.

• 6개 지정 프로젝트: 최근 24시간 내 git commit 없음. DreamData는 GR00T-Dreams group 통해 간접 SLURM 활동 있음.

• EgoX_wan2.2_long / Graph_VLM: 활동 없음. 각각 EgoX_wan2.2 안정화 및 Tier 2 그래프 빌드 구현 대기 중.

프로젝트 카드

DreamData · GR00T-Dreams 포함 Medium

Video generation으로 VLA few-shot post-training 데이터 증강. Wan2.1 multi-view LoRA (Stage 1) — Layout A/B/C × T2V/I2V 비교 중. Goal: DreamGen/DreamZero 초월.

어제 한 일 (SLURM — GR00T-Dreams)

frappe_moe finetuning: Job 10485 (7min, fail) → 10490 (30sec, fail) → 10491 (9hr 57m, 4GPU, ✅ 완료)
frappe_midA eval 완료 (Job 10302, 7hr 22m, 24 tasks)
frappe_midB eval 완료 (Job 10303, 7hr 02m, 24 tasks)
frappe_moe eval Job 10540 CANCELLED → Job 10541 재제출 (--qos=extra) RUNNING

오늘 할 일

Job 10541 완료 후 frappe_moe vs midA/midB 성능 수치 비교 (24-task success rate)
Layout B T2V (38361), C I2V (38513) 학습 진행률·loss 확인
Layout A+I2V 현재까지 결과와의 정성/정량 비교 준비
Layout B I2V, C T2V 추가 학습 제출 여부 결정

Context: Layout A+I2V가 현재 최선 (3분할 구조 학습, GT 일관성 ↑). wrist/external 뷰 구분은 아직 미흡.

EgoX_wan2.2 Low

EgoX를 Wan 2.2 base로 업그레이드. 2-Phase LoRA (고/저노이즈 expert 순차 학습), 81f EgoExo4D 데이터셋. Phase 2 학습 진행 중.

현재 상태

Phase 2 학습 Job 37398 진행 중 (8GPU, 2d+) — 오늘 직접 SLURM 활동 없음
81f training collapse 수정 완료: scene_name 파싱 버그 → 전 샘플 동일 캐시 공유 문제 해결
Phase 2 validation 파이프라인 추가 (phase1_lora_path → expert swap 검증)

오늘 할 일

Job 37398 loss curve 확인 — collapse 재발 여부, Phase 2 수렴 추이
validation 이미지 정성 평가: ego+wrist 뷰 coherence
expert swap 정상 동작 검증 (Phase 2 고유 체크)

Phase 2 미착수 상태로 pending인 Job 38197 (8GPU, PENDING Resources) 확인 필요.

VGGRPO Low

4D geometry reward로 video diffusion 3D consistency 강화. Phase 2 (LGM/DA3 backbone 구축) 진행 중. Phase 4 (RL fine-tuning) plan 완료.

현재 상태

DA3 v1 (Job 2903): step ~1948, agent_L/R r=0.95 — v1 loss 기준선
DA3 v2 (Job 3219): paper § 3.2 풀 구현 (L_D+L_M+L_P+L_C+L_grad) 학습 시작
Phase 4 base 확정: Cosmos-Predict2-2B robocasa-MG30 iter 73.2K. LGM 없이 DA3 직접 입력 reward path 채택
RoboCasa cam convention 검증 완료 (stored mode, mm급 정확도)

오늘 할 일

DA3 v1 vs v2 1500/3000 step depth quality 비교 (per-view scale consistency)
RoboCasa dataloader 3-cam 일반화 재개 (src/data/robocasa_dataset.py)
Phase 4 Sub-plan #1 Task 1 (FF submodule) 착수 검토

DA3 v2 학습 안정성 먼저 확인 후 Phase 4 착수 여부 결정 권장.

Graph_VLM Low

Egocentric long-term memory VQA. EPIC-KITCHENS P01_01(27.5분) 기반 O/A/T/S 4축 지식 그래프 + MCQ 답변.

현재 결과 (4/20 기준)

hardfilt10: Graph 2/10 (20%) · Describe 1/10 · Frame-300 5/10
L34hard10: Graph 4/10 (40%) · Describe 7/10 · Frame-300 6/10
hardfilt clean 5개: Graph 40% vs Describe 20% (+20%p)
Context 크기: 37K → 9K (8× 감소, keyword-subgraph fallback 적용 후)

다음 작업 (Tier 2 — 그래프 빌드)

Visual position attribute (left/right/front/back) — L34hard Q0/Q1, hardfilt Q5/Q8 대응
Occurrence count 집계 — 카운트 질문 (hardfilt Q1/Q4/Q7) 대응
Container edges (stored_in, on_surface) — hardfilt Q2/Q6
Action chain tracking (first/last action, sequence) — L34hard Q1/Q5

오늘 직접 활동 없음. Tier 2 구현 착수 여부 결정 필요.

SLURM 요약

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간
10087	molmoact2	train_mac2_robocasa_mg3000_fixstats.sh	8 (own)	RUNNING	1d 19h 40m+
10338	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 025K)	1	COMPLETED	5h 09m
10359	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 030K)	1	COMPLETED	5h 18m
10383	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 035K)	1	COMPLETED	5h 12m
10417	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 040K)	1	COMPLETED	5h 09m
10459	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 045K)	1	COMPLETED	5h 00m
10506	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 050K)	1	COMPLETED	5h 25m
10532	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 055K)	1	COMPLETED	5h 02m
10539	molmoact2	eval_mac2_robocasa_v02_24tasks.sh (ckpt 060K)	1	RUNNING	2h 16m+
10485	frappe	finetune_pi05_frappe_moe.sh (attempt 1)	4	COMPLETED	7m 34s (fail)
10490	frappe	finetune_pi05_frappe_moe.sh (attempt 2)	4	COMPLETED	0m 30s (fail)
10491	frappe	finetune_pi05_frappe_moe.sh (attempt 3, success)	4	COMPLETED	9h 57m ✓
10302	GR00T-Dreams	run_frappe_eval_24tasks.sh (frappe_midA, ckpt 020K)	1	COMPLETED	7h 22m
10303	GR00T-Dreams	run_frappe_eval_24tasks.sh (frappe_midB, ckpt 020K)	1	COMPLETED	7h 02m
10540	GR00T-Dreams	run_frappe_eval_24tasks.sh (frappe_moe, --qos=own)	1	CANCELLED	—
10541	GR00T-Dreams	run_frappe_eval_24tasks.sh (frappe_moe, --qos=extra 재제출)	1	RUNNING	16m+

오늘의 우선순위

TL;DR

프로젝트 카드

어제 한 일 (SLURM — GR00T-Dreams)

오늘 할 일

현재 상태

오늘 할 일

현재 상태

오늘 할 일

현재 결과 (4/20 기준)

다음 작업 (Tier 2 — 그래프 빌드)

SLURM 요약