Daily Progress — 2026-04-09

EgoX_wan2.2 — 81f 학습 결과 확인 & 검증 긴급running

어제 scene_name 버그 수정 후 재학습 시작. SLURM 38361/38366 결과가 오늘 중 나올 가능성 높음. outputs_val_81f 정성 평가 + loss curve 확인. Phase 2 validation도 동시에 검증. 81f 학습 안정화가 이후 모든 실험의 전제.

VGGRPO — LGM 학습 모니터링 & DROID vs EgoExo4D 결과 비교 running

37398이 1d 23h+ 실행 중. viz/ 확인으로 학습 진행 상황 점검. 선점 빈도 높아 resume 스크립트 상시 대기 필요. DROID vs EgoExo4D 비교가 Phase 3 데이터 전략 결정에 직결.

VGGRPO — Aria fisheye 문제 해결 방안 결정 검토 필요

EgoExo4D ego cam(Aria fisheye, fx=150) → Any4D 학습 분포 밖. undistort(간단) vs Fisheye3R/Pow3R(정확) 선택. EgoExo4D 101k 클립 활용 가능 여부를 결정.

DreamData — Layout 실험 결과 비교 (A/B/C × T2V/I2V) running

SLURM 38361(layout_B), 38513(layout_C_i2v) 실행 중. 이미 완료된 layout_A, layout_A_i2v, layout_B_i2v, layout_C_i2v 결과 비교 필요. 어떤 layout + 모드 조합이 가장 좋은지 판단해서 다음 스텝 결정.

Graph_VLM — gemini-2.0-flash 테스트 + 액션 병합 로직 unblocked

Phase 2 JSON 잘림 문제 해결 가능. 액션 병합 로직은 ~30줄. SLURM 대기 시간에 병행 처리 권장.

SLURM Jobs Overview

현재 Running / Pending (04-09 기준)

JobID	프로젝트	실행 명령	GPU	State	Elapsed	Node
37398	EgoX_wan2.2	PHASE=2 scripts/final_train_81.sh	8	RUNNING	2d+	worker-4
38361	DreamData	scripts/train_MG30_layout_B.sh	4	RUNNING	13h+	worker-13
38366	VGGRPO	scripts/resume_lgm.sh	4	RUNNING	12h+	worker-3
38513	DreamData	scripts/train_MG30_layout_C_i2v.sh	4	RUNNING	~1h	worker-12
38197	EgoX_wan2.2	scripts/final_train_81.sh	8	PENDING	—	(Resources)

오늘 완료 / 선점 (04-09)

JobID	프로젝트	실행 명령	GPU	State	Elapsed
38360	DreamData	scripts/train_MG30_layout_B_i2v.sh	4	COMPLETED	6h 39m
38362	DreamData	scripts/train_MG30_layout_C.sh	4	COMPLETED	0h 02m
38207	DreamData	scripts/train_MG30_layout_A_i2v.sh	4	COMPLETED	8h 03m
38016	EgoX_wan2.2_long	scripts/final_train_81f.sh	8	PREEMPTED	8h 01m
38017	EgoX_wan2.2_long	PHASE=2 scripts/final_train_81f.sh	8	PREEMPTED	6h 17m
38208	DreamData	scripts/train_MG30_layout_C_i2v.sh	4	PREEMPTED	14h 05m

주목: 어제(04-08)부터 preemption 빈도 높음 — 38016, 38017, 38208 모두 선점됨. core partition 경쟁 심화. 192 CPU 잡은 특히 취약 (8GPU 노드 독점). 38197 pending — Resources 부족으로 대기 중.

어제 주요 완료 (04-08)

JobID	프로젝트	실행 명령	GPU	State	Elapsed
38145	GR00T-Dreams	scripts/run_robocasa_convert.sh	0	COMPLETED	5h 39m
38161	DreamData	scripts/train_MG30_layout_A_i2v.sh	4	COMPLETED	1h 17m
38163	DreamData	scripts/train_MG30_layout_C_i2v.sh	4	COMPLETED	0h 34m
38189	DreamData	scripts/train_MG30_layout_A.sh	4	COMPLETED	4h 18m
38019	DreamData	scripts/train_MG30_layout_B.sh	4	COMPLETED	3h 41m

프로젝트별 현황

EgoX_wan2.2 HIGH

Wan2.2 기반 EgoX ego-view synthesis. Phase 1 (고노이즈 expert) + Phase 2 (저노이즈 expert) 2-phase LoRA 학습. 81f 데이터셋 지원.

어제 Git 활동 (2026-04-08)

0597846 Fix 81f training collapse + Phase 2 validation + auto-resume 04-08

5 files changed — wan_dataset.py, sft_trainer.py, args.py, trainer.py + 81f train scripts

핵심 수정 (3건):
(1) 81f scene_name 버그 — 다른 경로 구조에서 scene_name 추출 실패 → 모든 샘플이 동일 캐시 파일 공유 → training collapse. 경로 파싱 로직 수정으로 각 에피소드 독립 캐싱.
(2) Phase 2 validation — phase1_lora_path 인자 추가, Phase 1 LoRA를 high-noise expert에 로드 후 Phase 2 expert swap 검증.
(3) auto-resume 정렬 버그 — checkpoint 번호가 9999 초과 시 정렬 오류 수정.

오늘 할 일

🔄

81f 학습 결과 확인 — loss curve, validation 이미지 평가

outputs_val_81f 결과물 정성 평가. 기존 50-step 결과와 비교. training collapse 재발 여부 확인
🔄

Phase 2 validation 검증 — initialize_pipeline Phase 2 expert swap 정상 동작 확인

phase1_lora_path 로드 → high-noise expert에 적용 → Phase 2 expert로 교체 흐름 검증
📋

81f 학습 하이퍼파라미터 튜닝 — 현재 설정 기준 개선 포인트 파악

loss 수렴 속도, LR schedule, rank 등 검토. Phase 1 학습 완료 후 Phase 2 학습 자동 전환 확인

VGGRPO HIGH

VGGRPO 논문 재구현 — Wan2.1 + Any4D LGM + DROID/EgoExo4D. 4D geometry reward로 ego-view video policy optimization. Phase 2 LGM 학습 중.

어제 Claude 문서 활동 (2026-04-08)

doc 260408-resume_and_egoexo4d.md — Resume 기능 + EgoExo4D 데이터셋 지원 추가 04-08

주요 구현 (4건):
(1) Resume 기능 — --resume 인자로 Phase A 완료 후 Phase B만 재시작. SLURM 선점 대비.
(2) EgoExo4D 데이터 로더 — 101,620 클립, ego_GT 448×448 + exo 796×448. entry.json (intrinsics, extrinsics, prompt) 파싱.
(3) NaN 방지 강화 — depth clamp 100m, loss>5.0 backward skip, grad clip 1.0→0.5.
(4) 학습 시각화 — train_log.csv, val_log.csv, viz/loss_curves.png, viz/depth_step_N.png 자동 저장.

Smoke test 결과: Resume step 500 이어서 학습 ✅ / EgoExo4D Phase A mse=0.083, Phase B loss=4.58 ✅
이슈: Aria fisheye(fx=150) → Any4D 학습 분포 밖. undistort 또는 Fisheye3R/Pow3R 필요.

현재 Phase 상태

Phase 0 환경 구축 완료 Phase 1 베이스 모델 검증 완료 Phase 2 LGM Full Training 진행 중 (SLURM 37398, 1d+)

오늘 할 일

🔄

LGM Full training 모니터링 — viz/loss_curves.png, viz/depth_step_N.png 확인

37398 (1d 23h+ running). 선점 시 resume_lgm.sh로 재시작. DROID pseudo + GT 두 모드 학습 진행 중
🔄

DROID vs EgoExo4D LGM 결과 비교 — Phase A mse, Phase B depth/pose loss 비교

어느 도메인이 더 안정적으로 학습되는지 확인. Phase 3 데이터 전략 결정에 반영
📋

Aria fisheye 문제 해결 방안 결정 — undistort vs Fisheye3R/Pow3R

EgoExo4D ego cam(Aria) → Any4D 분포 밖. undistort(간단, 손실 있음) vs 다른 geometry model(복잡, 더 정확) 비교 검토
📋

Pre-upsample → Conv3d 순서 수정 (VIST3A 코드 분석 결과 반영)

현재: Conv3d → interpolate. VIST3A 스펙: trilinear upsample 먼저, 그 다음 Conv3d. src/models/lgm_connector.py 수정 필요

EgoX_wan2.2_long PLANNED

EgoX_wan2.2의 long video 확장 — 49프레임 chunk autoregressive inference. condition latent frame으로 temporal consistency 유지.

최근 Git 활동

9fdf39c Update long video — infer_long.py, GGA utils, plan.md, plan_long_inference.md 03-10

마지막 커밋 2026-03-10 (약 30일 전). 이후 활동 없음. plan.md와 plan_long_inference.md에 상세 구현 계획 작성 완료 — 구현 미착수 상태. EgoX_wan2.2 81f 학습 안정화 후 병행 착수 권장.

계획 상 미착수 핵심 항목

📋

Phase 1 Training: compute_loss 수정 — num_condition_latent_frames 지원

args.py + sft_trainer.py 수정. condition frame의 ego는 clean latent, loss에서 condition frame 제외
📋

infer_long.py 개선 — arbitrary length 처리 + GGA 지원

chunk 스케줄(stride=28, overlap=21). 이전 chunk ego 뒷부분 → 다음 chunk condition으로 전달

Graph_VLM MEDIUM

EPIC-KITCHENS VQA — VLM(Gemini) → action triplet 추출 → NetworkX graph → 4축 쿼리 엔진. Phase 1/2 파이프라인 검증 완료.

최근 활동 (04-06 분석 문서 기준)

Phase 1/2 파이프라인 검증 완료. Phase 1: 5/5 씬 설명 성공. Phase 2: 3/5 triplet 추출 성공 (2/5 JSON 잘림 — Gemini 2.5 Flash thinking token 소모 문제). 비용 실측: 10초 구간 ~$0.06, 5분 비디오 ~$1.8.

오늘 할 일 (plan.md 미완료 항목)

🔄

gemini-2.0-flash로 Phase 2 재테스트 — thinking token 문제 해결

2.5 Flash: 2/5 JSON 잘림. 2.0-flash는 thinking 없이 동일 max_tokens=8192로 더 긴 JSON 생성 가능
🔄

연속 동일 액션 병합 로직 추가 (Phase 1 → Phase 2 사이)

동일 action_summary 연속 감지 시 구간 병합 후 Phase 2에 한 번만 투입. action_001/002/003 중복 생성 방지
📋

graph_builder.py + entity_resolver.py 구현

structured JSON → NetworkX 그래프. object ID 불일치 해소 (electric_stove / cooking_hob / stove 통합)

DreamData BLOCKED

RoboCasa Multi-View Wan LoRA Fine-Tuning — left/right/wrist 3-view horizontal concat → Wan2.1 T2V LoRA. finetrainers v0.2.0 기반.

최근 Git 활동

221b41a Initial commit: Wan multi-view robot video fine-tuning 04-06

Block 원인: Step 1 — RoboCasa 데이터셋 경로 미제공. HDF5 구조 탐색 불가. 경로 확보 즉시 시작 가능 (python h5py 구조 탐색 + 3-view layout A/B/C 시각화 비교).

경로 확보 후 즉시 진행할 항목

⏸️

Step 1: HDF5 구조 탐색 — 뷰 키, 에피소드 수, 해상도, 프레임 수 분포 확인

agentview_left_image, agentview_right_image, robot0_eye_in_hand_image 키 존재 여부 + shape 확인
⏸️

Step 2: 3-view layout 시각화 — 옵션 A(1×3 가로), B(역삼각형), C(2×2+1) 비교

동일 프레임에 대해 3 옵션 이미지 저장 후 best layout 결정

Research Activity — 2026-04-09

오늘의 우선순위

SLURM Jobs Overview

현재 Running / Pending (04-09 기준)

오늘 완료 / 선점 (04-09)

어제 주요 완료 (04-08)

프로젝트별 현황

어제 Git 활동 (2026-04-08)

오늘 할 일

어제 Claude 문서 활동 (2026-04-08)

현재 Phase 상태

오늘 할 일

최근 Git 활동

계획 상 미착수 핵심 항목

최근 활동 (04-06 분석 문서 기준)

오늘 할 일 (plan.md 미완료 항목)

최근 Git 활동

경로 확보 후 즉시 진행할 항목