Long video 209프레임(5 chunk) 8클립 평가

TL;DR

경계: 8클립×4경계 중 22/32(69%) 통과(≤1.5x), 최대 2.7x. 체스·종이접기·호떡은 4/4
후반 붕괴 3건(배드민턴 156f~, 차 옆 여성 182f~, 코바늘 182f~): 같은 구간에서 ego prior가 비거나 튐 → 전처리(SAM3D head pose) 영향으로 판단 (인과 미검증)
누적 drift: 5개 클립에서 마지막 chunk 밝기 상승(예: 피아노 92.6→118.1)

22/32

경계 통과 (69%)

3/8

전 경계 통과 클립

2.7x

최대 경계 차이

3건

후반 prior 붕괴

1 배경 / 목적

training/EgoX_prefix_mask_v3/checkpoint-1500은 3클립·129f(3 chunk)에서 경계 6/6 통과했지만 검증 범위가 좁았다. "어떤 영상이든 매끄럽게 생성되는가"에 답하려면 다른 클립과 더 긴 길이(누적 drift)에서 확인이 필요.

2 작업 내용

클립: 유튜브 추천 클립 중 원본이 209프레임(30fps, ~7초) 동안 컷이 없는 8개 (tmp/long/pick_clip.py 209, 프레임 간 차이 최대 ≤12.6): 피아노, 배드민턴, 차 옆 여성, 드럼, 코바늘, 종이접기, 체스, 호떡. 야구장·대장간은 209f 안에 컷이 있어 제외
제출: tmp/long/submit_long209.sh — prep→vipe→sam3d→meta→render→infer 전체를 209f로 새로 실행, 캡션은 49f 것 재사용, OVERLAP_CLEAN=1 OVERLAP_MASK=1, seed 42. job 187791–187798 (2개 preempt → 187847/187848 재개), 클립당 약 50분
출력 results/auto_ego_long209/<clip>/output_42_209f/
평가: tmp/long/eval_seam.py(경계 4개), tmp/long/eval209_extra.py(밝기/선명도, timeline209.jpg), prior 시트 prior209.jpg, 수치 eval209.txt

3 결과

경계 프레임 차이 / chunk 내부 중앙값 (기준 ≤1.5x):

클립	경계1	경계2	경계3	경계4	통과
체스 CCa12NB	0.9	1.4	1.4	0.9	4/4
종이접기 rHWapIN	1.1	0.9	1.2	0.7	4/4
호떡 snLDhKuJLbI	1.3	1.2	0.9	1.0	4/4
배드민턴 K0npHTEmT38	1.0	2.1	1.2	0.7	3/4
드럼 UsJ3QGPVoZY	1.3	1.4	1.4	2.0	3/4
코바늘 oRw5TCrZSc0	1.4	0.8	1.6	1.2	3/4
피아노 tTGEo3scnq8	1.7	1.5	2.1	1.7	1/4
차 옆 여성 TDdVZ0Fofi0	1.9	2.2	2.7	1.6	0/4

전체 22/32(69%), 최대 2.7x (학습 전 overlap 3.5–5.3x).

밝기 누적(ego 평균, 첫 40f→마지막 9f): 피아노 R 92.6→118.1, 체스 48.2→62.4, 배드민턴 58.3→74.3, 종이접기 42.9→58.5, 호떡 58.6→67.0. 차 옆 여성은 상승 후 하락, 코바늘은 마지막에 어두워짐(43.9→25.6).

후반 붕괴 3건: 배드민턴(156f 이후 시점이 천장으로 휙 돎), 차 옆 여성(182f 이후 사람 사라짐), 코바늘(182f 이후 거의 검은 화면). 세 클립 모두 같은 구간에서 ego prior가 거의 비거나 튐 (배드민턴 prior 평균 밝기 마지막 구간 46.5→17.9, 차 5.4, 코바늘 160f 부근 11.9 후 근접 확대). 시트로 시점 일치 확인, 인과는 미검증.

차 옆 여성·피아노의 경계 실패는 prior가 안정적인 앞 구간(경계1–3)에서도 발생 → prior 탓만은 아님. 첫 chunk를 기존 49f 기준 LoRA와 비교하면 209f 실행은 전처리를 새로 해 prior 궤적이 달라 직접 비교는 거침: 밝기 8클립 중 6개 낮음(−4~−27%), 2개 높음(드럼 +14%, 피아노 +25%).

4 Takeaway

3/8 클립(체스·종이접기·호떡)은 7초 동안 경계가 전부 매끄럽고 장면이 유지되어 기법 자체는 5 chunk까지 무너지지 않는다. 그러나 "어떤 영상이든 매끄럽다"는 아직 아님: 경계 31% 실패, chunk마다 밝아지는 누적 drift, 긴 클립에서의 prior 붕괴. 길어질수록 병목이 모델보다 ego 궤적 전처리로 옮겨간다.

5 Next Steps