LongLive 추론 sweep + 긴 클립 학습

TL;DR

DMD 없이 진행. 추론을 상대 RoPE + sink 0으로 바꾸자 드럼 암전이 사라짐(−68% → +4%). 호떡 약 165f 이후 장면 이탈은 어떤 추론 설정에서도 남아 학습 문제로 판단 → 153f 긴 클립 + 추론과 같은 attention mask로 재학습(job 192373).

1배경/목적

1단계(81f teacher forcing 10k) 609f: 이음새는 해결, 그러나 호떡 165f 이후 장면 이탈, 드럼 −68% 암전. 코드 버그는 없고, 추론 attention 패턴(sink + window, 절대 RoPE)이 학습(21 latent 전체 causal)과 다른 점이 원인 후보. 사용자 결정: DMD는 하지 않음, share 사용 금지.

2작업 내용

infer_egox.py --set 설정 덮어쓰기, eval_wild_sweep.sh로 추론 설정 11가지 sweep (10k 체크포인트, 호떡·드럼 609f).
relrope: KV cache의 sink+window를 연속 위치로 번호 매김. 절대 RoPE에서는 150번째 latent와 sink 거리가 150으로 학습(최대 20)에서 본 적 없음.
긴 클립: 같은 take의 연속 81f 클립 2개를 이어붙여 153f 11,092개 (make_chained_meta.py).
teacher-forcing mask에 window/sink 옵션 추가. window 21, sink 0 + 추론 relrope면 학습과 추론 attention이 정확히 같음.
configs/egox_ar_long.yaml: 10k에서 시작, 4,000 step, 500 step마다 저장, extra 4 GPU.

3결과

추론 설정	호떡 (경계 ≤1.5x, 밝기)	드럼
기본 (cfg3, win21, sink3)	47/50, +2%	42/50, −68%
cfg1	48/50, −2%	41/50, +38% (165f부터 붕괴)
cfg2	49/50, −11%	40/50, −57%
nosink	49/50, −0%	46/50, −49%
sink9	48/50, −0%	45/50, −55%
sink15	46/50, −9%	43/50, −52%
win12	44/50, −9%	45/50, −61%
win33 sink9	48/50, −4%	42/50, −72%
win45 sink15	45/50, −3%	41/50, −67%
relrope	44/50, +0%	43/50, −49%
relrope sink9	49/50, +0%	44/50, −49%
relrope sink0	47/50, −8%	47/50, +4%

relrope + sink 0 드럼: 암전 없음, 드럼·심벌 약 442f까지 유지, 후반 흐려짐.

relrope + sink 0 호떡: 110f까지 철판, 165f부터 장면 이탈 (모든 설정 공통).

cfg 1 드럼: 밝기는 유지되지만 165f부터 내용 붕괴 → CFG 3 유지.

4Takeaway

암전은 멀리 떨어진 sink(절대 RoPE)에서 옴 → 추론만 바꿔 해결.

장면 이탈은 학습 길이(81f) 문제. 긴 클립 + 같은 attention 학습으로 대응 중.

5153f 학습 결과 (checkpoint 2000)

192373 preempt(step ~530) → sbmr 재제출 192505가 checkpoint 500에서 재개, 4,000 step 완료(6.3 s/step). 609f 평가는 relrope + sink 0.

	호떡 경계 / 밝기	호떡 장면 유지	드럼 경계 / 밝기	드럼 유지
10k (81f)	47/50, −8%	~110f, 165f부터 이탈	47/50, +4%	~442f (후반 탁함)
long s2000 (153f)	47/50, −4%	~276f, 331f부터 이탈	45/50, −8%	~221f, 이후 겹쳐 흐려짐

long s2000 호떡: 철판·호떡이 276f까지 유지 (10k는 110f).

long s2000 드럼: 221f까지 선명, 276f부터 겹쳐 흐려짐.

긴 클립 학습으로 호떡 장면 이탈이 약 165f → 약 330f로 지연 (학습 길이 2배와 비례).

드럼은 장면 유지가 짧아져 혼재 — s4000 결과로 판단.

6153f 학습 결과 (checkpoint 4000)

	호떡 경계 / 밝기	호떡 장면	드럼 경계 / 밝기	드럼 장면
10k (81f)	47/50, −8%	~110f	47/50, +4%	~442f, 탁함
long s2000	47/50, −4%	~276f	45/50, −8%	~221f
long s4000	47/50, −39%	~276f 철판, ~497f 같은 노점	45/50, −73%	609f 전체 같은 드럼 세트

long s4000 호떡: 497f까지 같은 노점 내부, 552f부터 이탈.

long s4000 드럼: 609f 내내 빨간 드럼·심벌 유지, 그러나 점점 어두워짐.

학습을 더 할수록 장면 일관성 향상 — 드럼은 처음으로 609f 전체 유지.

밝기 단조 감소(암전) 재발. exo 입력 밝기는 일정 → 모델 드리프트.

7Next

추론 시 밝기 앵커(첫 블록 latent 통계에 맞춤) — 재학습 없이 확인
error recycling 비율/노이즈 상향 학습
3클립(233f) 학습

LongLive EgoX — 추론 설정 sweep + 153f 긴 클립 학습