Prefix 조건 LoRA 첫 chunk 화질 붕괴 원인 분리 (대조 학습)

TL;DR

대조: prefix 조건만 제거(MAX_PREFIX=0), 나머지 동일 → step 1,500 첫 chunk 밝기 58.6–93.1 / 선명도 118–136 (기존 LoRA 59.9–75.2 / 68–146)
prefix 학습은 같은 step에서 야구장 40.2/70, 대장간 42.0/53로 붕괴 → 원인은 prefix 조건 (seed 1개, 3클립)
추정: 조건에 "주어진 프레임" 신호가 없고 step의 75%가 prefix 샘플이라 K=0 능력이 밀림 (미검증)

118–136

대조 선명도 @1500

40.2/70

prefix 야구장 @1500

42.0/53

prefix 대장간 @1500

138.1 dB

비교 방법 검증 PSNR

1 배경 / 목적

prefix 조건 LoRA(261007)는 chunk 경계를 이어 주지만 step 1,500에서 처음부터 생성하는 첫 chunk 화질이 무너졌다. 300→3,508클립으로 늘려도 동일해 과적합 가설은 기각. 남은 후보: (a) 학습에서 kv cache off, (b) prefix 조건 부작용, (c) lr/batch. (b)와 (a)(c)를 가르기 위해 prefix만 끈 대조 학습을 수행.

2 작업 내용

scripts/finetune_prefix.sh에 MAX_PREFIX(기본 5, 0이면 prefix 조건 없음) 추가
대조 학습: MAX_PREFIX=0, 나머지는 3,508클립 prefix pilot과 동일 (checkpoint-10000 시작, 4 GPU, lr 2e-5, kv cache off, dataset/train_full). 750 step(job 183452, 3:31:06) 후 1,500 step까지 연장 (183827 preempt → 184010, checkpoint-1000 재개)
평가: 3클립 첫 chunk만 49f 생성 (tmp/long/submit_eval49.sh). 비교 방법 검증: 기존 LoRA 49f vs 89f의 chunk 0 → PSNR 138.1 dB (사실상 동일)

3 결과

첫 chunk 밝기 / 선명도(Laplacian 분산), seed 42:

클립	기존 LoRA	대조 750	대조 1,500	prefix 750	prefix 1,500
호떡	62.1 / 68	77.4 / 112	69.1 / 126	74.3 / 178	59.2 / 100
야구장	59.9 / 139	57.8 / 135	58.6 / 136	56.6 / 163	40.2 / 70
대장간	75.2 / 146	67.3 / 118	93.1 / 118	52.5 / 124	42.0 / 53

대조 학습은 step 1,500에서도 기존 LoRA 범위 안(눈으로도 정상, tmp/long/ctrl_first_chunk_1500.jpg).

prefix 학습은 같은 step에서 어둡고 흐림. 호떡은 ego 시점이 아닌 장면 생성.

미세조정을 하면 prefix 유무와 무관하게 같은 seed의 장면 해석이 바뀐다(대장간: 화로 정면→숯 근접→화로 측면). 화질 문제는 아님.

4 Takeaway

붕괴 원인은 prefix 조건이다. kv cache off, lr 2e-5, 데이터는 같은 조건에서 문제를 만들지 않았다 (seed 1개, 3클립 기준). 현재 구현은 ego 앞 K개 latent를 clean으로 넣을 뿐 "주어진 프레임" 신호가 없고, step의 75%가 prefix 샘플이라 K=0 능력이 밀린 것으로 추정(미검증).

5 Next Steps

수정안: (1) Wan I2V mask 채널을 prefix 프레임 ego 영역에서 1로 + 조건 채널에 clean latent, (2) K=0 비율 25%→50% — 동일 pilot(4 GPU, 1,500 step)으로 검증 (→ 261010 mask pilot 카드)
판정 평가는 seed 3개로 확대
LongLive 2.0 이전은 조건 입력 경로 부재 + AR 단계 5B 전체 미세조정 → 몇 주 규모 별도 프로젝트
디스크: training/EgoX_noprefix_ctrl 추가 (체크포인트 6개 × 9.4GB)