Daily Progress — 2026-06-05

오늘의 우선순위

01 VGGRPO — DA3 v0 (loss v1 vs v2) + RoboCasa LGM v0 동시 학습 2일 9h 경과. 체크포인트 중간 결과 확인 및 depth/pose 메트릭 비교.
02 DreamData — context.md 기준 Layout B(T2V) + C(I2V) 실험 진행 중이나 SLURM job ID 불일치. 현재 클러스터에서 job 상태 직접 확인 필요.
03 EgoX_wan2.2 — Phase 2 81f 학습 job(37398) context에 기록됐으나 현 sacct에서 미확인. training status 재점검.
04 Graph_VLM — Tier 2 그래프 빌드 개선 착수 검토 (visual position attribute, occurrence count, container edges).
05 EgoX_wan2.2_long — EgoX_wan2.2 81f 안정화 확인 후 long video 구현 착수 여부 결정.

TL;DR

VGGRPO DA3 트랙 3개 실험(job 11851/11853/11869) 2일 9h 이상 지속 RUNNING. 4 GPU × 3 = 12 GPU 점유. DA3 v1 baseline vs v2 paper-aligned loss ablation 진행 중.
어제 전체 대상 프로젝트(DreamData, EgoX2, EgoX_wan2.2, EgoX_wan2.2_long, Graph_VLM) git commit 없음. 코드 변경 활동 없는 날.
DreamData · EgoX_wan2.2 context.md에 기재된 job ID(38xxx, 37xxx)는 현 SLURM cluster 기준 불일치 — 실험 상태 직접 확인 필요.
비(非)대상 프로젝트에서 어제 활발한 활동: frappe(pi0.5 피처 ablation 3종 완료, MoE full PENDING), molmoact2(8 GPU 학습 22h+ RUNNING + eval 5k→30k 체인 진행).

프로젝트별 현황

VGGRPO High

4D geometry reward로 video diffusion의 3D consistency 강화. DA3 backbone 기반 LGM Phase 2 학습 중.

어제 한 일

코드 변경 없음 (git commit 0). 3개 실험 계속 RUNNING.
RUNNING job 11851 — train_lgm_robocasa_v0.sh (LGM v0 GT-label, 4 GPU, 2d 9h+)
RUNNING job 11853 — train_lgm_robocasa_da3_v0_lossv1.sh (DA3 v1 baseline loss, 4 GPU, 2d 9h+)
RUNNING job 11869 — train_lgm_robocasa_da3_v0.sh (DA3 v2 paper-aligned loss, 4 GPU, 2d 9h+)

실험 개요

DA3 v1 (job 11853) — Phase-B loss v1 자체 설계 (depth + ray + pose, per-clip scale fit). stitch layer 6 결정.
DA3 v2 (job 11869) — paper §3.2 풀 구현: L_D + L_M + L_P + L_C + L_grad + GT-side scale norm.
LGM v0 (job 11851) — Conv3d connector v2, RoboCasa 3-cam GT depth label.
목표: 세 run 중 1500/3000/5000 step ablation으로 loss 수렴 및 depth MSE 비교.

오늘 할 일

중간 체크포인트 loss curve 확인 (WandB 또는 slurm output 로그)
DA3 v1 vs v2 depth error, pose error 초기 추세 비교
Phase 4 (RL fine-tuning) 사전 착수 — FF submodule / Cosmos ckpt 준비 점검

DreamData Medium

Wan2.1 LoRA fine-tune으로 로봇 데이터 증강. Multi-view layout 비교 실험 (Layout A/B/C × T2V/I2V).

어제 한 일

Git commit 없음. SLURM 활동 미감지.

context.md 기준: job 38361 (Layout B T2V, 4 GPU) · job 38513 (Layout C I2V, 4 GPU) RUNNING 기록 — 단, 현 cluster job 번호 범위(~12xxx)와 불일치. 실제 상태 별도 확인 필요.

현재 Stage

Stage 1 — Wan2.1 LoRA fine-tuning 실험 진행 중. Layout A + I2V가 현재까지 최선 결과 (GT 일관성 높음, 3분할 구조 학습). Layout B·C 결과 수렴 후 전체 비교 필요.

Stage 1~40%

오늘 할 일

Layout B T2V, C T2V, C I2V 학습 현황 확인
전처리 v2(task-balanced sampling + motion crop) 스크립트 설계 착수
Stage 2 (label decoder) 설계 초안 작성 검토

EgoX_wan2.2 Medium

Wan 2.2 dual expert 구조 활용 2-Phase LoRA. ego+wrist 뷰 동시 생성. 81f Phase 2 학습 중.

어제 한 일

Git commit 없음. SLURM 활동 미감지.

context.md 기준: job 37398 (PHASE=2 final_train_81.sh, 8 GPU, "2d+ running") 기록 — 현 cluster 기준 미확인. 상태 직접 점검 필요.

현재 상태

260408에 81f training collapse 버그 수정 완료 (scene_name 파싱 → 모든 샘플 동일 캐시 문제)
Phase 2 validation 파이프라인 추가, auto-resume checkpoint 정렬 버그 수정
미결: 81f 학습 loss curve 확인 + Phase 2 expert swap 정상 동작 검증

오늘 할 일

Phase 2 학습 상태 확인 (job 상태, loss curve)
Phase 2 validation 이미지 정성 평가
안정화 확인 시 EgoX_wan2.2_long 구현 착수 결정

Graph_VLM Low

Egocentric 비디오 시공간 그래프 기반 long-term VQA. EPIC-KITCHENS P01_01 (27.5분) 평가 인프라 완성.

어제 한 일

활동 없음 (commit 0, SLURM 0)

현재 상태

Tier 1 완료 (4/20): query plan 3-bug fix, multi-seed union, keyword-subgraph fallback, context 8배 축소 (37K→9K)
3개 hard 벤치마크 결과: hardfilt10 20%, hardest10 20%, L34hard10 40% (Graph V3). hardfilt 5개 clean 재집계 시 40% vs Describe 20% (+20%p)
Tier 2 (그래프 빌드 개선) 미착수 — visual position, occurrence count, container edges, action chain 구현 필요

오늘 할 일

Tier 2 첫 번째 항목: visual position attribute (left/right/front/back) 구현 착수
occurrence count 집계 로직 설계

EgoX_wan2.2_long Low

EgoX_wan2.2 arbitrary length 확장. Clean latent condition + autoregressive chunk 추론.

현재 상태

구현 미착수. plan.md + plan_long_inference.md 설계 완료. EgoX_wan2.2 81f 안정화가 선행 조건.

args.py: num_condition_latent_frames, condition_noise_ratio 추가 필요
sft_trainer.py: condition frame clean latent 처리 + loss 마스킹 필요
infer_long.py: arbitrary length + GGA 지원 구현 필요

활동 없음 (commit 0, SLURM 0) — EgoX_wan2.2 안정화 대기 중

EgoX2 Low

3D consistency 개선 실험 (원본 EgoX 베이스).

현재 상태

claude/ 디렉토리 없음. 활동 없음 (commit 0, SLURM 0)

SLURM 작업 현황 (2026-06-04 이후)

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간
11851	VGGRPO	train_lgm_robocasa_v0.sh	4×	RUNNING	2d 9h+
11853	VGGRPO	train_lgm_robocasa_da3_v0_lossv1.sh	4×	RUNNING	2d 9h+
11869	VGGRPO	train_lgm_robocasa_da3_v0.sh	4×	RUNNING	2d 8h+
12051	frappe	finetune_pi05_frappe.sh mid_dinov2	4×	COMPLETED	5h 42m
12052	frappe	finetune_pi05_frappe.sh mid_clip	4×	COMPLETED	5h 40m
12053	frappe	finetune_pi05_frappe.sh mid_vit	4×	COMPLETED	5h 38m
12057	molmoact2	train_mac2_robocasa_mg3000_jointpos.sh	8×	RUNNING	22h 45m
12079	molmoact2	eval_mac2_robocasa_mg3000_jointpos_005000	1×	COMPLETED	5h 33m
12191	molmoact2	eval_mac2_robocasa_mg3000_jointpos_010000	1×	COMPLETED	4h 60m
12326	frappe	finetune_pi05_frappe_moe_full.sh	4×	COMPLETED	0h 02m
12332	molmoact2	eval_mac2_robocasa_mg3000_jointpos_015000	1×	COMPLETED	5h 14m
12373	frappe	finetune_pi05_frappe_moe_full.sh	4×	COMPLETED	0h 32m
12420	molmoact2	eval_mac2_robocasa_mg3000_jointpos_020000	1×	COMPLETED	5h 09m
12496	molmoact2	eval_mac2_robocasa_mg3000_jointpos_025000	1×	RUNNING	5h 27m
12524	molmoact2	eval_mac2_robocasa_mg3000_jointpos_030000	1×	RUNNING	2h 18m
12405	frappe	finetune_pi05_frappe_moe_full.sh	4×	PENDING	—

* 회색 프로젝트(frappe, molmoact2)는 리포트 대상 외. SLURM 전체 현황 참고용.