Daily Progress

지난 3일

• Job #42201 train_MG30_layout_C_i2v_v2.sh — NCCL watchdog hang (Apr 12 15:06 UTC), 상태 확인 필요
• Layout A T2V ✅, A I2V ✅, B I2V ✅ — 모두 step 8000 완료
• Layout B T2V: 3000/8000 step → 재학습 중
• Layout C T2V: 체크포인트 깨짐, v2 스크립트로 재시작
• Layout C I2V v2: 현재 학습 중 (#42201, RUNNING)
• SLURM 3일간 20+ preemption/cancel — 클러스터 경쟁 심각
• 핵심 발견: I2V (14B) >> T2V (1.3B), Layout A >> Layout B
• Git: Apr 9 커밋 ("Add I2V training, external precompute, overfit experiments")

오늘 할 일

• #42201 NCCL hang 여부 확인 → 필요시 재submit
• #42977, #42979 내용 확인 (어떤 layout?)
• Layout C T2V 완료 후 전체 A/B/C I2V 비교 추론 실행
• precompute 분리 스크립트 작성 계획 이행 (260409-precompute_plan.md)

지난 3일

• Job #38813 final_train_81_wan21.sh, 8GPU, 3d 8h+ RUNNING
• Step 15,000 / 100,000 (15%), loss 0.07–0.17, grad_norm ~0.04–0.09
• lr = 0.0001, step당 ~14–46s (8GPU)
• Step 15,000 validation 비디오 생성 완료
• Apr 8 커밋: 81f training collapse 수정 + Phase 2 validation + auto-resume
• Note: 스크립트명에 wan21 — Wan 2.1 base 학습 중 (2.2 전환 전)

오늘 할 일

• Step 15,000 validation 이미지 정성 평가 (ego/wrist 뷰 구분, 시간 일관성)
• loss curve 확인 — collapse 없이 수렴 중인지
• Phase 2 학습 계획 검토 (현재는 Phase 1인지 Phase 2인지 확인)
• EgoX_wan2.2_long 착수 조건 점검

지난 3일

• LGM v2 학습 (lgmv2_0409_1536) 3일간 7회 preemption
• 누적 실행 시간: ~52 GPU-hours (4GPU × 13h), 매번 resume으로 재시작
• #42511 현재 PENDING (Priority)
• 미해결: Aria fisheye 좌표계 문제, depth scale alignment, pre-upsample 순서

오늘 할 일

• #42511 스케줄 후 loss curve + depth/pose visualization 확인
• LGM 학습 수렴 여부에 따라 Phase 3 (GRPO 통합) 착수 여부 결정
• Fisheye undistort vs Fisheye3R/Pow3R 결정 이슈 해소

지난 3일 (Apr 10)

• VQA 피드백 문서 작성 — QA 생성 품질 이슈 3가지 식별:
• ① 타임스탬프가 질문에 포함 ("00:05:10에 X는?") → 답변에만 있어야 함
• ② "세그먼트" 시스템 내부 개념이 질문에 노출
• ③ 자연스럽지 않은 시간 범위 질문 형식
• 수정 방향: 이벤트/물체/행동 기반 질문 스타일로 전환
• GPU 불필요, Gemini API 기반

오늘 할 일

• QA 생성 프롬프트에 규칙 3개 추가 (타임스탬프 금지, 세그먼트 금지, 이벤트 기반)
• EM3 (Temporal Memory) 카테고리는 예외 처리
• graph_builder.py, entity_resolver.py 미구현 항목 착수

Research Goal

Exo-view 단일 비디오에서 ego-view 비디오 생성. Wan 2.2 I2V A14B 기반, width-wise latent concatenation. GGA(geometry-guided attention) 제거, 순수 RGB baseline.

이번 주 핵심 진전

• 대규모 리팩토링 (-2,201줄): GGA/depth/camera 전면 제거. sft_trainer 968→540줄(-44%), wan_dataset 595→270줄(-55%), infer 282→115줄(-59%)
• First-frame conditioning 재설계: depth+geometry → [ff, 0, 0, ..., 0] ego conditioning. VAE bit-identical 검증 완료
• width_concat helper (152줄, 함수 5개): encode_ego_first_frame_condition, build_wan_i2v_mask, apply_ego_only_noise, ego_region_mse, resolve_latent_widths
• Wan 2.2 I2V A14B 전환: CLIP optional, transformer_2 skip, VAE stats 자동 로드
• YAML config + 데이터셋 분리: EgoExo4D (3,619 takes) / DROID (1000+ episodes) 독립 클래스

미해결 이슈

• 🔴 CRITICAL: Smoke test 미완료 (1-step training + 추론 검증)
• 🟡 Per-episode captioning (고정 템플릿 → GPT-4o 생성 예정)
• 🟡 transformer_2 MoE dispatch 미구현

Docs: context.md, plan.md, plan-dataset.md, 260411/, 260412/ · Sessions: 3개 (최근 24h)

지난 주 작업

• Wan 2.2 1.3B T2V 기반 DROID RGB + pointmap dual-loss 학습
• WanDROIDPipeline 생성, infer_droid.py 리팩토링
• Noise efficiency 개선 (wrist region only), per-loss logging 분리
• proj_out checkpoint save/load, validation step 개선

지난 3일

• 구현 미착수 상태 유지. 대기 조건: EgoX_wan2.2 81f 학습 안정화
• plan.md, plan_long_inference.md 작성 완료 (03-10). SLURM 없음.