Daily Progress · 2026-04-09 (수) · W260407–260413

Daily Project Progress

6개 프로젝트 — 최근 24시간 활동 요약 및 오늘 할 일

3 Active

1 Commits

22 SLURM Jobs

4 Running Now

~992h Total GPU-h

2 Work Logs

TL;DR — 오늘의 핵심

DreamData: 가장 활발. 현재 4개 job RUNNING (38207·38208·38360·38361, 4GPU each). 전처리 파이프라인 개선(fix_preprocess_plan) + I2V 확장(i2v_plan) 계획 진행 중. Preemption 비율 매우 높음 — quota 초과 여부 확인 필요.
EgoX_wan2.2: Training collapse 수정 커밋(+689/-35) 반영 후 8GPU job 37398 RUNNING (35h+). fix.md P0 이슈 2개 미해결(Dual Expert 학습 전략, Flow Shift=3 vs 5). PENDING 38197도 시작 대기 중.
VGGRPO: LGM 학습 job 37393이 1d 3h 44m 후 PREEMPTED. Resume 기능 추가(260408 doc) + EgoExo4D 데이터셋 로더 구현됨. Aria fisheye → Any4D domain gap 이슈 미해결.
EgoX_wan2.2_long: 2개 PENDING(38016, 38017). long video conditioning 구현(plan_long_inference.md) 완성 대기 중.
Graph_VLM / EgoX2: 오늘 활동 없음. Graph_VLM은 v3 개선 방향(0406_anal.md) 분석 완료, 구현 미착수.

오늘 우선순위 제안

P1

EgoX_wan2.2

fix.md P0 이슈 수정: Dual Expert 학습 전략 + Flow Shift 5.0 적용

현재 RUNNING job 37398이 잘못된 설정(single expert, shift=3)으로 학습 중일 가능성. 다음 job 38197 시작 전 수정 필요. 미수정 시 품질 손실.
P1

Robotics/DreamData

Preemption 원인 파악 + fix_preprocess_plan Step 1~2 실행

PREEMPTED 13건 — quota 초과(extra QOS) 운영 중으로 보임. `squeue -u taewoongkang`으로 현재 QOS 확인. 전처리 스크립트(prepare_robocasa_data.py 수정)는 RUNNING jobs와 독립적으로 진행 가능.
P2

VGGRPO

LGM 학습 resume — 37393 preempted, 새 job sbatch

1d 3h 44m 학습 중 preempted. resume 기능 이미 구현됨(260408 doc). `scripts/resume_lgm.sh`로 재시작 가능. EgoExo4D vs DROID 결과 비교도 진행.
P3

EgoX_wan2.2_long

plan_long_inference.md Step 1~2 구현: args.py + compute_loss 수정

2개 PENDING job이 대기 중 — 구현 완료 후 submit 예정. 현재 코드 수정이 선행 조건.
P3

Graph_VLM

0406_anal.md v3 개선 구현 착수: ego 손 노드 정규화 + generic ID 차단

분석은 완료, 구현 미착수 상태. 낮은 우선순위지만 다른 프로젝트 학습 대기 중 진행 가능.

Active Projects

Robotics/DreamData

repos/Robotics/DreamData

High

Research Goal

RoboCasa의 left/right/wrist 3개 카메라 뷰를 가로 concat하여 Wan2.1 T2V LoRA fine-tuning. 로보틱스 manipulation 비디오 생성 모델 구축. 추가로 I2V(Image-to-Video) 확장을 통해 초기 프레임 조건부 동작 예측 지원.

어제 핵심 활동 (24h)

DreamData 전처리 파이프라인 개선 계획 수립 (fix_preprocess_plan.md): sliding window stride 랜덤화(10~25), MG-30 서브셋, 비디오/캡션 분리 저장 구조
I2V 확장 계획 수립 (i2v_plan.md, Apr 7): finetrainers가 T2V/I2V 동일 코드 지원 — pretrained_model_name_or_path만 I2V 모델로 변경하면 됨
Job 37401 COMPLETED (13h 50m, 4GPU), 38019/38161/38163/38189 COMPLETED — 반복적 학습 실험 진행
현재 RUNNING: 38207 (5h 10m), 38208 (3h 5m), 38360 (0h 21m), 38361 (0h 21m)

오늘 할 일 (plan 미해결 항목)

Step 1: prepare_robocasa_data.py 수정 — 데이터 소스, MG-30 슬라이싱, stride 랜덤, fps=20 반영
Step 2: MG-30 Layout A + B 데이터 생성 (~15K~20K 클립)
Step 3: finetrainers 데이터 로더 수정 or 심볼릭 링크
Step 4: training.json 작성 (resolution bucket: [49,192,960] A, [49,352,640] B)
Preemption 비율 이슈 확인: 13건 PREEMPTED — extra QOS 여부, quota 초과 원인 파악

0Commits

18SLURM Jobs

~408hGPU-h (4GPU)

2Work Logs

Activity Details

Work Logs

fix_preprocess_plan.md Apr 6
i2v_plan.md — I2V 확장 계획 Apr 7
plan.md — RoboCasa multi-view LoRA (Steps 1-10) Apr 3

SLURM Jobs

4 RUNNING 5 COMPLETED 8 PREEMPTED 1 PENDING

Jobs: 37401, 37651, 37988~37990, 38000~38002, 38019, 38161, 38163, 38184, 38189, 38207, 38208, 38209, 38210, 38360, 38361, 38362

EgoX_wan2.2

repos/EgoX_wan2.2

High

Research Goal

단일 Exocentric 비디오에서 Egocentric + Wrist 뷰 비디오를 동시 생성하는 diffusion 모델. Wan2.2 기반 dual-expert 학습 전략(고노이즈/저노이즈 expert 분리)과 flow shift=5를 올바르게 적용하여 멀티뷰 일관성 확보.

어제 핵심 활동 (24h)

커밋 0597846: Fix 81f training collapse + Phase 2 validation + auto-resume (9 files, +689/-35). Gradient clipping + Phase 2 warmup schedule로 안정화. SLURM preemption 시 자동 체크포인트 재시작 구현.
Job 37649 PREEMPTED (1d 0h 23m, 8GPU) → 이후 37398 RUNNING 중 (1d 11h+, 8GPU)
PENDING 38197 대기 중
fix.md P0 미해결: Dual Expert (현재 single expert, DiffSynth는 별도 run 2개), Flow Shift=3 vs 5 불일치

오늘 할 일

P0: Flow Shift 수정 — sft_trainer.py에서 Wan2.2는 flow_shift=5.0 강제 적용 (scheduler_config의 3.0은 inference용)
P0: Dual Expert 전략 구현 — High-noise expert (timestep 0~900) / Low-noise expert (timestep 0~900) 별도 run. 현재 single expert 방식은 품질 한계.
P1: BSMNTW loss weighting 적용 (fix.md Issue #3) — exp(-2*((t-500)/1000)^2) 가중치
Job 37398 학습 진행 모니터링 (현재 35h+ RUNNING)

1Commits

3SLURM Jobs

~472hGPU-h (8GPU)

0Work Logs

Activity Details

Git Commits

0597846 Fix 81f training collapse + Phase 2 validation + auto-resume Apr 8 04:19

9 files changed, +689 / -35

SLURM Jobs

1 RUNNING (37398, 8GPU, 35h+) 1 PREEMPTED (37649) 1 PENDING (38197)

Docs (fix.md)

Issue #1: Dual Expert Training Strategy [P0]
Issue #2: Flow Shift Mismatch 3.0→5.0 [P0]
Issue #3: BSMNTW Loss Weighting [P1]

EgoW / VGGRPO

repos/EgoW/VGGRPO

Medium

Research Goal

VGGRPO (Video Generation with 4D Latent Reward Policy Optimization) 재구현. LGM(Latent Geometry Model)으로 Wrist-view 로봇 조작 비디오의 3D geometry를 latent reward로 변환하고, Flow-GRPO로 policy optimization. DROID + EgoExo4D 데이터셋 적용.

어제 핵심 활동 (24h)

260408 doc: Resume 기능 추가(Phase A 완료 후 B부터 이어서), EgoExo4D 데이터셋 로더 구현(101,620 클립, entry.json intrinsics/extrinsics 활용). 검증: Resume smoke test OK, EgoExo4D smoke test OK (Phase A mse=0.083, Phase B loss=4.58)
Job 37393 PREEMPTED (1d 3h 44m, 4GPU) — 장기 학습 중 preempted. resume 가능.
Job 38212 COMPLETED (1s) — 테스트/설정 확인용 단시간 job
Aria fisheye(448x448, fx=150) → Any4D가 제대로 처리 못함. 훈련 분포 밖(fisheye domain gap). undistort 또는 Pow3R/Fisheye3R 대안 검토 필요.

오늘 할 일 (plan 미해결)

LGM Full Training 재시작: scripts/resume_lgm.sh로 37393 이어서 sbatch 제출
DROID vs EgoExo4D 결과 비교 — Phase B loss 수렴 곡선 확인
EgoExo4D exo intrinsics scaling 검증: 원본 3840x2160 기준값 → 796x448 스케일링 정확성
Phase 3: Reward 함수 구현 (depth consistency, reprojection error) — LGM 결과 이후

0Commits

2SLURM Jobs

~112hGPU-h (4GPU)

1Work Logs

Activity Details

Work Logs

260408-resume_and_egoexo4d.md Apr 8 19:37
change_egox_dataset.md — EgoExo4D 데이터 구조 분석 Apr 7

SLURM Jobs

1 PREEMPTED (37393, 4GPU, 1d 3h 44m) 1 COMPLETED (38212, 1s)

EgoX_wan2.2_long

repos/EgoX_wan2.2_long

Medium

Research Goal

49프레임 단위로 autoregressive long video 생성. 앞쪽 N개 latent frame을 clean condition으로 보존하고, 이전 chunk 결과를 다음 chunk에 conditioning. EgoX_wan2.2의 long-form 확장판.

어제 활동 / 현재 상태

Jobs 38016, 38017 PENDING — 코드 구현 완료 대기 중으로 추정
plan_long_inference.md: 6단계 구현 계획 수립됨. compute_loss 수정(condition frame mask/noise/loss 처리), prepare_latents, __call__, infer_long.py 신규 파일
모든 체크리스트 항목 미완료 ([ ] 상태) — 구현 착수 필요

오늘 할 일

Step 1: args.py — num_condition_latent_frames, condition_noise_ratio, random_condition_frames 필드 추가
Step 2: sft_trainer.py compute_loss 수정 — condition 프레임 mask/noise/loss 처리 (num_cond 결정, reshape 이후 mask ego=1, condition ego GT로 교체)
Step 3: prepare_latents 수정 — ego_condition_video 파라미터, condition frame ego를 이전 chunk로 대체
Step 5: infer_long.py 작성 — autoregressive generation loop

0Commits

2SLURM Jobs

PENDINGStatus

0Work Logs

Activity Details

SLURM Jobs

2 PENDING (38016, 38017)

Docs

plan_long_inference.md — Long video conditioning 구현 계획
plan.md, research.md — 프로젝트 루트 문서

Low Activity Projects

Graph_VLM

repos/VQA/Graph_vlm

Low

Research Goal

Egocentric video에서 Graph 기반 VLM을 통한 VQA. 물체·행동·시간 관계를 그래프로 모델링하고, VLM의 scene understanding 능력과 결합. v3 개선: 손 노드 정규화, generic ID 제거, 물체 상태 통합, action 과분할 억제.

어제 활동 / 현재 상태

0406_anal.md: v3 결과 4가지 문제 분석 완료 — ego 손/발 과분할, generic ID(object_0 등), 물체 상태 분리(celery_stalks / chopped_celery 등 8개), action 과분할(씻기 5개로 분절)
구현 착수 전 — 분석 완료, 코드 수정 미착수
SLURM 활동 없음

오늘 할 일

PHASE1 프롬프트 수정: ego video → left_hand/right_hand 2개만 추적, generic ID 차단 규칙 추가
후처리: object_\d+ 패턴 노드 re-ID, 상태 prefix 병합 (chopped_celery → celery + state)
_ACTION_GROUPS에 washing/rinsing/cleaning 추가 → action 과분할 억제

0Commits

0SLURM Jobs

—GPU-h

1Work Logs

Inactive — 오늘 활동 없음

EgoX2 Published paper (HuggingFace Paper of the Day #1) · Last git: Apr 8

SLURM Jobs (Apr 8–9, 2026)

Job ID	Project	State	Elapsed	GPU
38360	DreamData	RUNNING	0h 21m	4
38361	DreamData	RUNNING	0h 21m	4
38207	DreamData	RUNNING	5h 10m	4
38208	DreamData	RUNNING	3h 05m	4
37398	EgoX_wan2.2	RUNNING	1d 11h 24m	8
38197	EgoX_wan2.2	PENDING	—	8
38016	EgoX_wan2.2_long	PENDING	—	—
38017	EgoX_wan2.2_long	PENDING	—	—
38362	DreamData	PENDING	—	4
38189	DreamData	COMPLETED	4h 18m	4
38163	DreamData	COMPLETED	0h 34m	4
38161	DreamData	COMPLETED	1h 17m	4
38019	DreamData	COMPLETED	3h 41m	4
37401	DreamData	COMPLETED	13h 50m	4
38212	VGGRPO	COMPLETED	0h 00m	4
38210	DreamData	PREEMPTED	3h 37m	4
38209	DreamData	PREEMPTED	3h 37m	4
38184	DreamData	PREEMPTED	4h 43m	4
38002	DreamData	PREEMPTED	4h 18m	4
38001	DreamData	PREEMPTED	4h 12m	4
38000	DreamData	PREEMPTED	0h 20m	4
37990	DreamData	PREEMPTED	6h 58m	4
37989	DreamData	PREEMPTED	5h 48m	4
37988	DreamData	PREEMPTED	6h 52m	4
37651	DreamData	PREEMPTED	23h 40m	4
37649	EgoX_wan2.2	PREEMPTED	1d 0h 23m	8
37393	VGGRPO	PREEMPTED	1d 3h 44m	4