LongLive 이식 1단계 — step 1,000 중간 평가
2026-10-13 · EgoX_H200 / EgoX_LongLive
LongLive-2.0-5B + exo 토큰 + ego prior 채널, causal AR 미세조정
TL;DR
LongLive로 옮기자 609f에서 chunk 이음새와 밝기 폭증이 사라졌다. 남은 문제는 학습 길이(81f)의 약 4배인 330f 이후 내용이 무너지는 것.
2.9x
경계 최대 (기존 10.2x)
−24~−27%
609f 밝기 (기존 +56~+92%)
~330f
내용 붕괴 시작
3.3s
s/step (4 GPU)
1배경/목적
prefix LoRA는 609f에서 chunk마다 밝기가 누적돼 실패. 0단계에서 LongLive T2V가 21초 동안 밝기 ±5%를 유지해, EgoX 조건을 붙여 공개 가중치에서 미세조정(GGA 없음).
2작업 내용
프레임 = [exo 448x768 | ego 448x448] 폭 방향 concat → 14x38 = 532 토큰
exo 토큰: clean, 토큰별 t=0 modulation, loss 없음
ego 토큰: 블록(3 latent)별 노이즈, flow-matching loss (ego 열만)
ego prior: patch embedding +48 채널 (0 초기화)
데이터: EgoExo4D 81f 99,587클립 / lr 1e-5 / 10k step / error recycling (step 1,000부터)
학습: job 190775, own 4 GPU, 36.1GB/GPU
평가: eval_ckpt.sh (val 81f x4 + 609f x2), eval_wild.sh (유튜브 201f x8)
3결과
| 클립 | 방식 | 경계 ≤1.5x | 밝기 첫→끝 | 후반 |
|---|---|---|---|---|
| 호떡 | prefix LoRA v3 | 12/14 | 55.2→105.8 (+92%) | 442f 이후 색 노이즈 |
| 호떡 | LongLive s1000 | 43/50 (최대 2.8x) | 92.6→70.1 (−24%) | 330f 이후 내용 붕괴 |
| 종이접기 | prefix LoRA v3 | 8/14 (최대 10.2x) | 41.5→64.6 (+56%) | — |
| 종이접기 | LongLive s1000 | 40/50 (최대 2.9x) | 79.6→58.2 (−27%) | 손·종이 유지, 바닥 무늬 뒤틀림 |
호떡 609f (LongLive s1000). 0~276f는 장면 유지, 331f 이후 철판·손이 구겨진 천/금속 같은 형태로 무너짐.
종이접기 609f. 손과 주황 종이는 끝까지 유지, 330f 이후 배경이 뒤틀리고 흐려짐.
val 81f (자전거 수리, 요리) exo|ego, 0/20/40/60/80f.
4Takeaway
이음새·노출 누적 문제는 구조적으로 해결됨.
새 병목은 학습 길이를 넘는 구간의 내용 붕괴. step 1,000은 error recycling이 막 켜진 시점이라 이후 체크포인트로 판단 필요. 호떡·종이접기 ego prior 자체가 후반에 비거나 조각나는 영향도 섞여 있음.
5Next
- 유튜브 8클립 201f 평가(job 191222)
- step 3k/5k/10k에서 같은 평가 반복
- prefix 노이즈 증강 LoRA(190519) 609f와 비교
- 붕괴가 남으면 학습 길이 확장(161f+) 또는 self-forcing식 rollout 학습
6업데이트 — 10k step, 3방식 비교 (호떡·드럼 609f)
exo에 사람이 보이는 유튜브 2클립(호떡 판매, 드러머)으로 LongLive 1k~10k와 prefix LoRA v3(기존)·v4(노이즈 증강, overlap noise 0.1)를 같은 입력으로 비교. 경계: LongLive는 블록(12f) 50개, prefix는 chunk(40f) 14개, 프레임 차이 중앙값 대비 배수.
| 클립 | 방식 | 경계 ≤1.5x (최대) | 밝기 첫→끝 | 내용 |
|---|---|---|---|---|
| 호떡 | LongLive s5000 | 40/50 (2.5x) | 76.9→60.7 (−21%) | 221~497f 파란 번짐, 552f 이후 회복 |
| 호떡 | LongLive s10000 | 47/50 (1.6x) | 69.3→70.4 (+2%) | 0~110f 철판·호떡, 165f 이후 비닐/금속 덩어리로 장면 이탈(호떡·손은 남음) |
| 호떡 | prefix v3 | 12/14 | 55.2→105.8 (+92%) | 442f 이후 색 노이즈 |
| 호떡 | prefix v4 | 11/14 (3.6x) | 52.6→81.3 (+55%) | 가게 내부로 일관, 선명. 331f 이후 가장자리 색 노이즈 |
| 드럼 | LongLive s3000 | 49/50 (1.8x) | 31.0→17.6 (−43%) | 심벌·스네어·손 유지, 331f 이후 흐림 |
| 드럼 | LongLive s5000 | 34/50 (2.8x) | 31.5→7.6 (−76%) | 거의 검게 꺼짐 |
| 드럼 | LongLive s10000 | 42/50 (2.4x) | 34.8→11.1 (−68%) | 빨간 드럼·심벌 442f까지 유지, 이후 어둠 속 팔만 |
| 드럼 | prefix v3 | 6/14 (2.0x) | 141→153 (+8%) | 무대 조명과 다른 밝은 청록 톤, 구조는 끝까지 유지, 가장자리 노이즈 |
| 드럼 | prefix v4 | 3/14 (5.4x) | 131→156 (+19%) | 노출 과다, 276f 이후 드럼 형태 사라지고 색 노이즈 |
LongLive s10000 호떡. 밝기 일정, 이음새 없음. 165f부터 철판 장면에서 벗어남.
prefix v4 호떡. 장면은 일관되지만 밝기 +55%, 후반 가장자리 색 노이즈.
LongLive s10000 드럼. exo의 어두운 붉은 무대 톤과 일치, 후반 암전.
prefix v3 드럼. 구조 유지, 색은 exo와 불일치(청록, 밝음).
prefix v4 드럼. 노출 과다 후 붕괴.
이음새: LongLive 10k가 두 클립 모두 가장 좋음(최대 1.6/2.4x). 색 톤도 exo와 맞음.
prefix 노이즈 증강(v4)은 v3보다 나아지지 않음: 드럼 경계 6/14→3/14, 노출 과다 붕괴. 호떡은 +92%→+55%로 밝기 누적만 일부 감소.
LongLive 남은 문제: (1) 밝은 장면은 밝기 유지(+2%)지만 약 165f 이후 exo와 다른 내용으로 이탈, (2) 어두운 장면은 계속 어두워짐(−68%). 둘 다 학습 길이 81f를 넘는 구간에서 생김 → 학습 길이 확장 또는 self-forcing식 rollout 학습이 다음 후보.