EgoX long video: prefix 화질 붕괴 원인 분리

TL;DR

대조 학습은 무너지지 않는다: prefix만 끄고 같은 설정으로 1,500 step 학습해도 첫 chunk 화질이 기존 LoRA 범위에 있다.
원인은 prefix 조건: kv cache off, 학습률, 데이터는 같은 조건에서 문제를 만들지 않았다.
다음: mask 채널로 "주어진 프레임" 신호를 명시하고 K=0 비율을 50%로 올린 pilot.

118–136

대조 1,500 선명도

53–100

prefix 1,500 선명도

68–146

기존 LoRA 선명도

1 배경 / 목적

prefix 조건 LoRA는 chunk 경계를 이어 주지만 step 1,500에서 첫 chunk 화질이 무너졌다. 데이터를 3,508클립으로 늘려도 같았다. 원인 후보(kv cache off, prefix 부작용, 학습률) 중 prefix를 가려내기 위해 prefix만 끈 대조 학습을 돌렸다.

2 작업 내용

대조: MAX_PREFIX=0, 그 외 동일 (checkpoint-10000 시작, 4 GPU, lr 2e-5, kv cache off, dataset/train_full) SLURM: 183452 (750 step) -> 183827 (preempt) -> 184010 (1,500 step까지) 평가: 3클립 첫 chunk 49프레임, seed 42 (tmp/long/submit_eval49.sh) 방법 검증: 기존 LoRA의 49f 실행 vs 89f 실행 chunk 0 = PSNR 138.1 dB

3 결과

첫 chunk 밝기 / 선명도	기존 LoRA	대조 750	대조 1,500	prefix 750	prefix 1,500
호떡	62.1 / 68	77.4 / 112	69.1 / 126	74.3 / 178	59.2 / 100
야구장	59.9 / 139	57.8 / 135	58.6 / 136	56.6 / 163	40.2 / 70
대장간	75.2 / 146	67.3 / 118	93.1 / 118	52.5 / 124	42.0 / 53

Figure 1: 첫 chunk의 프레임 0/24/48. 왼쪽부터 기존 LoRA, 대조 750, 대조 1,500, prefix 750, prefix 1,500.

대조: step 1,500에서도 정상 화질.

prefix: 같은 step에서 어둡고 흐려지며 호떡 클립은 ego 시점이 아닌 장면이 나온다.

4 Takeaway

의미

붕괴는 prefix 조건에서 온다(seed 1개, 3클립 기준). 현재 구현은 앞 K개 latent를 clean으로 넣을 뿐 "이 프레임은 주어진 것"이라는 신호가 없고, step의 75%가 prefix 있는 샘플이다. 처음부터 생성하는 능력이 밀려난 것으로 추정하지만 검증하지 않았다.

5 Next Steps

prefix 방식 수정 pilot

prefix 프레임의 ego 영역에서 Wan I2V mask 채널을 1로 켜고 조건 채널에 clean latent를 넣는다. K=0 비율을 25%에서 50%로 올린다. 경계와 첫 chunk를 seed 3개로 평가한다.