LongLive EgoX — 추론 설정 sweep + 153f 긴 클립 학습 (DMD 없이)

TL;DR

암전 원인 분리: sink가 절대 RoPE 거리 최대 150 떨어져 있는 것. relrope + sink 0 → 드럼 밝기 −68% → +4% (재학습 없음)
장면 이탈은 학습 문제: 12개 추론 설정 모두 호떡 ~165f 이탈 잔존 → 153f 이어붙인 클립으로 4,000 step 학습
결과: 호떡 같은 노점 유지 ~110f→~500f, 드럼 609f 전체 유지. 대신 밝기 단조 감소 재발 (호떡 −39%, 드럼 −73%)

+4%

드럼 밝기 (relrope sink0)

165→552f

호떡 장면 이탈 시점

47/50

경계 ≤1.5x (s4000)

−73%

드럼 밝기 (s4000)

1 배경/목적

1단계(81f teacher forcing, 10k step) 609f 결과: 이음새는 해결(최대 1.6–2.4x)됐으나 (1) 호떡 ~165f 이후 장면 이탈, (2) 어두운 장면(드럼) 점진적 암전 −68%. 코드 점검에서 줄 단위 버그는 없었고, 레시피 차이(LongLive 배포 가중치는 DMD까지 거침 / 우리는 teacher forcing만)와 학습-추론 attention 패턴 불일치가 원인 후보. 사용자 결정: DMD는 하지 않고 "잘 생성만" 되게. share QOS 금지(own/extra만).

2 작업 내용

(a) 추론 설정 sweep (재학습 없음)

infer_egox.py에 --set key=value(OmegaConf dotlist) 추가, eval_wild_sweep.sh <ckpt> <tag> <overrides>로 호떡·드럼 609f를 checkpoint_010000에서 평가. 기본값: cfg 3 / window 21 / sink 3 / 절대 RoPE. relrope(use_relative_rope=true)는 KV cache의 sink+window를 연속 위치로 재번호 — 절대 RoPE에서는 150번째 latent가 sink(0~2)와 거리 150이라 학습(최대 거리 20)에서 본 적 없음.

(b) 153f 긴 클립 학습

데이터: scripts/egox/make_chained_meta.py — 같은 take에서 바로 이어지는 81f 클립 2개(B.start == A.end+1)를 연결 → data/chain2_train_meta.json 11,092개 (val 2). utils/egox_dataset.py가 segments 항목을 이어 읽음 (153f = 81 + 72) 경계: 눈으로는 매끄러움 (exo가 거의 정지라 프레임 차이 비율만 3–24x) mask: _prepare_teacher_forcing_mask(window_frames, sink_frames) 추가 (기본 -1 = 기존과 동일) 블록은 자기 자신 + sink + 직전 (window − sink − block) 프레임만 봄 (clean/noisy 모두) train_egox.py: init_egox_ckpt (확장된 EgoX ckpt에서 시작, optimizer 새로), tf_window_frames / tf_sink_frames configs/egox_ar_long.yaml: 153f (39 latent, 13블록), window 21, sink 0, checkpoint_010000에서 시작, 4,000 step, 500 step마다 저장, lr 1e-5 → sink 0 + 상대 RoPE 추론이면 학습 mask와 추론 attention이 정확히 일치

스모크(로그인 1 GPU, 3 step): loss 0.18/0.28/0.18, 6.1 s/step, 124GB(FSDP 없음). 제출: job 192373(extra, 4 GPU, 12h; own은 다른 작업이 6/8장 사용). 1시간 7분 만에 preempt(step ~530) → sbmr 재제출 192505가 checkpoint_000500에서 재개, 23:12 UTC 4,000 step 완료(6.2–6.4 s/step, loss 0.1–0.36, GPU당 46GB).

3 결과

Sweep (609f, 블록 경계 ≤1.5x / 밝기 첫→끝)

설정	호떡	드럼
기본 (cfg3, win21, sink3)	47/50, +2%	42/50, −68%
cfg1	48/50, −2%	41/50, +38% (165f부터 풀숲 같은 장면 붕괴)
cfg2	49/50, −11%	40/50, −57%
nosink	49/50, −0%	46/50, −49%
sink9	48/50, −0% (장면 ~276f)	45/50, −55%
sink15	46/50, −9%	43/50, −52%
win12	44/50, −9%	45/50, −61%
win33 sink9	48/50, −4%	42/50, −72%
win45 sink15	45/50, −3%	41/50, −67%
relrope	44/50, +0%	43/50, −49%
relrope sink9	49/50, +0%	44/50, −49%
relrope sink0	47/50, −8%	47/50, +4%

relrope sink0 드럼: 빨간 드럼·심벌 ~442f까지 유지, 암전 없음, 후반 흐려짐. 호떡은 여전히 165f부터 이탈.

긴 클립 학습 후 (relrope + sink 0, 609f)

	호떡 경계 / 밝기	호떡 장면	드럼 경계 / 밝기	드럼 장면
10k (81f 학습)	47/50, −8%	철판 ~110f, 165f부터 이탈	47/50, +4%	드럼 ~442f, 후반 탁함
long s2000 (153f)	47/50 (max 2.0x), −4%	철판 ~276f, 331f부터 비닐·천막 장면으로 이탈	45/50 (max 2.2x), −8%	선명 ~221f, 276f부터 겹쳐 흐려짐
long s4000	47/50 (max 1.8x), −39%	철판 ~276f, 331–497f 같은 노점 내부(다른 각도), 552f부터 이탈	45/50 (max 2.9x), −73%	빨간 드럼·심벌 609f 내내 유지, 밝기 40→11

선명도(Laplacian var): 호떡 200f 이후 10k 105–150 → s2000 125–230. exo 입력 밝기는 일정(드럼 46–58, 호떡 119–125) → ego 암전은 모델 드리프트. 그림: EgoX_LongLive/tmp/sw_*_{hot,drum}.jpg.

밝기 재발: s4000에서 relrope+sink0임에도 호떡 −39%, 드럼 −73%. s2000(−4%/−8%)보다 오히려 악화 — 학습이 진행될수록 단조 감소.

4 Takeaway

암전(sink 거리 기여분)은 추론 설정으로 해결: sink가 멀리 떨어진 절대 RoPE 위치(최대 150)가 원인 → 상대 RoPE + sink 제거. 단 이 해결은 s4000에서는 유지되지 않음.

장면 일관성은 학습 길이에 비례해 개선: 이탈 ~165f(81f 학습) → ~330f(s2000) → ~552f(s4000). exposure bias 가설과 일치.

해석

암전은 sink/RoPE만의 문제가 아니라, 오차 누적 시 밝기가 한쪽으로 쏠리는 경향이 별도로 존재한다. 장면 일관성과 밝기 안정성이 학습 중 trade-off로 보임(s2000→s4000).

5 Next Steps

(1) 추론 시 밝기 앵커: 첫 블록 통계(평균/표준편차)를 latent 단위로 맞추는 보정 — 재학습 없이 바로 확인 가능
(2) 학습 시 error recycling 비율/노이즈 상향으로 밝기 드리프트 복원력 학습
(3) 3클립(233f, 1,485개 run) 이어붙이기 학습 — 장면 유지 길이가 학습 길이에 비례하는지 확인