Projects

Exo-to-Ego_Wan2.1_finetune

Exo(3인칭) 영상에서 Ego(1인칭) 영상을 생성하는 EgoX(Wan2.1 I2V 14B + LoRA rank 256) 데모를 B200 클러스터에서 재현하고, in-the-wild 영상에 대해 수동 ego pose annotation 없이 바로 생성되게 한다.

14 reports 2 weeks
261012 — 261018 7 reports · 12 tables 7
10-15 exp
LongLive EgoX — 추론 설정 sweep + 153f 긴 클립 학습 (DMD 없이)
추론 설정 sweep(12종, 609f)으로 암전 원인을 sink 거리(절대 RoPE)로 분리 → relrope+sink0에서 드럼 −68%→+4%. 153f 긴 클립 학습(4,000 step) 후 장면 이탈 ~165f→~552f(호떡), 드럼 609f 유지, 단 밝기 −39%/−73% 재발
2 tables
10-14 eng
LongLive 이식 0단계 — B200 환경 구축 + T2V 509f smoke
LongLive-2.0-5B를 B200에서 구동(flash-attn 2 wheel + devel 컨테이너): T2V 509프레임(21초) 39.5초 생성, 64f 구간 밝기 104~112(±5%)로 누적 drift 없음
1 table
10-14 exp
LongLive 이식 1단계 — EgoX 조건 causal AR 미세조정 (10k step) + 609f 평가
LongLive-2.0-5B에 EgoX 조건(exo 토큰+ego prior)을 붙여 10k step 미세조정: 609f 호떡 경계 47/50(최대 1.6x), 밝기 +2% — prefix LoRA v3(+92%)/v4(+55%) 대비 이음새·누적 해결, 어두운 장면(드럼 −68%)·81f 초과 장면 이탈은 잔존
3 tables
10-13 exp
Long video 209프레임(5 chunk) 8클립 평가 — prefix mask LoRA
609프레임(20초, 15 chunk) 최종 시험 실패: 호떡 경계 12/14·종이접기 8/14, 마지막 chunk 밝기 +92%/+56%(기준 ±20%) → prefix 이어붙이기의 누적 오류 확인, LongLive(causal AR)로 전환
1 table
10-12 exp
Long video 209프레임(5 chunk) 8클립 평가 — prefix mask LoRA
prefix mask LoRA(step 1,500) 209f(5 chunk) 8클립 평가: 경계 22/32(69%) 통과·최대 2.7x(학습 전 3.5–5.3x), 3/8 클립 전 경계 통과, 3클립은 후반 ego prior 붕괴로 장면 파괴 → 병목이 모델에서 ego 궤적 전처리로 이동
1 table
10-12 exp
Prefix mask 채널 + K=0 50% pilot (경계 유지 & 첫 chunk 화질 회복)
prefix mask 채널 신호 + K=0 50% 학습(step 1,500): 89f 경계 9회 중 7회 ≤1.5x(중앙값 1.20x, 학습 전 3.5–5.3x), 129f 경계 6/6 통과, 첫 chunk 선명도 100–319로 붕괴 해소 / 일부 클립 밝기 −11~−35%
3 tables
10-12 analysis
Prefix 조건 LoRA 첫 chunk 화질 붕괴 원인 분리 (대조 학습)
prefix만 끈 대조 학습(MAX_PREFIX=0)은 step 1,500에서도 첫 chunk 화질 정상(선명도 118–136, 기존 LoRA 68–146) → 화질 붕괴 원인은 prefix 조건 자체 (kv cache off/lr/데이터 아님)
1 table