Daily Progress — 2026-05-27

오늘의 우선순위

P1 GR00T-Dreams — job 10010~10013 (4-GPU 병렬 eval) COMPLETED. outputs/eval_synthetic_idm/ar_p3_init0_v2/droid_idm/success_summary_*.json 4개 읽어서 per-task 성공률 집계 및 전체 요약 분석
P1 DreamData — Layout B T2V (job 38361) · Layout C I2V (job 38513) 훈련 상태 확인. 완료됐으면 Layout 비교 분석 착수
P2 EgoX_wan2.2 — Phase 2 81f job 37398 상태 및 loss curve 확인. PENDING 상태인 job 38197 requeue 여부 판단
P2 VGGRPO — DA3 v1 (job 2903, step ~1948) · DA3 v2 (job 3219) 체크포인트 확인. RL Phase 4 착수 조건 점검 (Sub-plan #1 Task 1 — FF submodule)
P3 Graph_VLM — Tier 2 그래프 빌드 개선 (visual position attribute, occurrence count) 중 우선순위 1개 착수

TL;DR

오늘 주요 활동은 전부 GR00T-Dreams에서 발생. dream 비디오 IDM action → robocasa sim open-loop 평가 파이프라인을 구축하고, 5번의 job 반복(9989→10013) 끝에 최종 4-GPU 병렬 실행 완료.

최종 설정: droid_idm 변종, 3-view 위/아래 스택 영상, 라벨 없음, 24 task × 3 ep = 72 ep 평가. success_summary_*.json 4개 샤드가 이제 분석 대기 중.

다른 6개 타겟 프로젝트(DreamData, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM, VGGRPO, EgoX2)는 오늘 커밋·문서 변경 없음. 각 프로젝트의 장기 실험(LoRA 학습, DA3 훈련 등)은 백그라운드 진행 중.

스모크 테스트: CloseDoubleDoor ep0 IDM action range [-1.0, 0.364](약한 IDM) → sim success=False. droid_idm ep0 range [-0.56, 0.69]로 collapse 덜함 — 실제 성공률 결과 주목.

프로젝트별 현황

DreamData / GR00T-Dreams High Stage 1 LoRA · IDM Eval

어제 한 일

cosmos failure scoring — blur/frozen/collapse 3축 badness, 1440 ep 전체 스코어링. 실패 패턴 = articulated 동작 task (TurnOnSinkFaucet, Stove 계열) 집중
GT vs Cosmos 비교 영상 — worst-30 + smoke-24 생성. row layout, fps-sync, 원본 wide aspect 확정
eval_synthetic_idm_replay.py 확장 — 성공률 집계, 3-view 위/아래 스택, droid_idm 전환, 4-GPU 샤딩 병렬화
job 10010~10013 COMPLETED — 24 task × 3 ep = 72 ep, droid_idm, 각 14~19분 소요

worst: TurnOffStove ep577 badness=0.990 · best: OpenSingleDoor/PnP badness=0.04~0.06

오늘 할 일 / 미해결

success_summary_G1~G4.json 집계 → per-task 성공률 분석 (droid_idm lower-bound)
약한 H50 IDM vs droid_idm 성공률 비교 실험 (스크립트 syn_root만 변경)
DreamData Layout B T2V / C I2V 학습 완료 확인 후 A·B·C 전체 비교 분석
hallucination(고주파 노이즈) 감지 지표 badness에 추가 검토
DreamData 전처리 v2 (motion crop + task-balanced sampling) 적용 — v1 7배속 재생 문제 해결

EgoX_wan2.2 Medium Phase 2 81f 학습 중

현재 상태

job 37398 PHASE=2 final_train_81.sh — 8GPU, 2일+ 실행 중
job 38197 — PENDING (Resources) 대기 중
81f training collapse 버그 수정 완료 (260408) — scene_name 파싱 버그 → 동일 캐시 공유 → collapse, 수정 완료
Phase 2 validation 파이프라인 추가 (phase1_lora_path → expert swap 검증)

오늘 할 일 / 미해결

job 37398 loss curve 확인 — 81f Phase 2 수렴 여부 정성 평가
Phase 2 validation expert swap 정상 동작 검증
job 38197 PENDING 해소 여부 확인 — 해소 안 되면 qos 변경 검토
81f 하이퍼파라미터 튜닝 필요 (LR, rank 등)

VGGRPO Medium Phase 2 LGM · RL Plan 수립

현재 상태

job 2903 DA3 v1 baseline — step ~1948, v1 loss 진행 중
job 3219 DA3 v2 paper-aligned — v2 loss (L_D+L_M+L_P+L_C+L_grad+GT-scale norm)
Phase 4 RL fine-tuning plan 작성 (260510) — Flow-GRPO vs DiffusionNFT, 6주 마일스톤 37 task
Base 확정: Cosmos-Predict2-2B robocasa-MG30 iter 73.2K
Reward path: LGM 제거, DA3 backbone에 decoded RGB 3-cam 직접 입력

오늘 할 일 / 미해결

DA3 v1/v2 step 1500/3000/5000 체크포인트 비교 준비
RL Phase 4 Sub-plan #1 Task 1 착수 — Flow-Factory FF submodule 추가
RoboCasa dataloader 구축 (src/data/robocasa_dataset.py) 완성
frame-level depth scale ambiguity — per-cam alignment/disparity 변환 검토

Graph_VLM Low Tier 2 그래프 빌드

현재 상태 (4/20 기준)

Tier 1 완료: multi-seed linking, plan union, keyword-subgraph fallback, node cap 80
hard 벤치마크 3종 구축: hardfilt10 / hardest10 / L34hard10
hardfilt10 clean 5개 Graph 40% vs Describe 20% (+20%p 우위)
L34hard10 Graph 4/10 · Describe 7/10 · Frame-300 6/10

오늘 할 일 / 미해결 (Tier 2)

Visual position attribute 추가 (left/right/front/back) — L34hard Q0/Q1, hardfilt Q5/Q8
Occurrence count 집계 — hardfilt Q1/Q4/Q7, L34hard Q0
Container edges (stored_in, inside, on_surface) — hardfilt Q2/Q6
Action chain tracking (first/last, sequence) — L34hard Q1/Q5
Entity alias edges (X ↔ X_half/X_pieces)

No Activity

SLURM 작업 요약

Job ID	프로젝트	실행 명령 / 내용	GPU	상태	실행 시간	시작
10013	GR00T-Dreams	eval_synthetic_idm_replay (G4: TurnOff* × 3 + TurnOn* × 3 + TurnSinkSpout)	1	COMPLETED	00:14:30	01:07
10012	GR00T-Dreams	eval_synthetic_idm_replay (G3: PnP×5 + TurnOffMicrowave)	1	COMPLETED	00:16:35	01:07
10011	GR00T-Dreams	eval_synthetic_idm_replay (G2: Open*×3 + PnPCab/CounterToCab/CounterToMicrowave)	1	COMPLETED	00:19:27	01:07
10010	GR00T-Dreams	eval_synthetic_idm_replay (G1: Close×3 + Coffee×3), droid_idm 최종	1	COMPLETED	00:14:12	01:07
10007	GR00T-Dreams	eval_synthetic_idm_replay (라벨 제거 + 4-GPU 샤딩 직전 취소)	1	CANCELLED	00:04:09	01:02
10004	GR00T-Dreams	eval_synthetic_idm_replay (droid_idm 전환, own qos)	1	CANCELLED	00:08:52	00:53
9996	GR00T-Dreams	eval_synthetic_idm_replay (3-view 포맷 적용, weak IDM 13/72 진행 중 취소)	1	CANCELLED	00:13:03	00:39
9992	GR00T-Dreams	eval_synthetic_idm_replay (PENDING → 3-view 코드 취소 재제출)	1	CANCELLED	—	—
9989	GR00T-Dreams	eval_synthetic_idm_replay (최초, weak IDM, 1-view side-by-side)	1	CANCELLED	00:10:19	05-27 00:21

* frappe 프로젝트 abgrip_old/new 작업(9698~9793, 5건 PREEMPTED, 8GPU)은 타겟 프로젝트 외 — 생략. DreamData job 38361/38513, EgoX_wan2.2 job 37398/38197, VGGRPO job 2903/3219은 장기 실행 중 (sacct 이전 기간).