Long Video 209프레임(5 chunk) 8클립 평가
2026-10-11 · EgoX_H200
prefix mask LoRA (EgoX_prefix_mask_v3/checkpoint-1500), seed 42
TL;DR
컷 없는 추천 클립 8개를 209프레임으로 생성. 경계 32개 중 22개(69%)가 기준 1.5x 이하이고 체스·종이접기·호떡은 4/4. 하지만 chunk마다 밝기가 쌓여 오르고, 배드민턴·차·코바늘은 ego prior가 후반에 비거나 튀면서 결과도 무너진다. "어떤 영상이든 매끄럽다"는 아직 아니다.
22/32
경계 ≤1.5x
3/8
전 경계 통과 클립
2.7x
최악 경계
3.5–5.3x
학습 전 경계
1배경/목적
129f·3클립에서 경계 6/6 통과했지만 범위가 좁았다. 다른 클립과 5 chunk 누적에서도 매끄러운지 확인.
2작업 내용
conda activate egoxv2 && bash tmp/long/submit_long209.sh # 8 jobs, 1 GPU, ~50분/클립
클립 선정: tmp/long/pick_clip.py 209 (원본 프레임 간 차이 최대 ≤12.6)
출력: results/auto_ego_long209/<clip>/output_42_209f/
전처리(ViPE, SAM3D head pose, prior 렌더)를 209f로 새로 실행했고 캡션은 기존 49f 것을 재사용.
3결과
| 클립 | 경계1 | 경계2 | 경계3 | 경계4 | 통과 |
|---|---|---|---|---|---|
| 체스 | 0.9 | 1.4 | 1.4 | 0.9 | 4/4 |
| 종이접기 | 1.1 | 0.9 | 1.2 | 0.7 | 4/4 |
| 호떡 | 1.3 | 1.2 | 0.9 | 1.0 | 4/4 |
| 배드민턴 | 1.0 | 2.1 | 1.2 | 0.7 | 3/4 |
| 드럼 | 1.3 | 1.4 | 1.4 | 2.0 | 3/4 |
| 코바늘 | 1.4 | 0.8 | 1.6 | 1.2 | 3/4 |
| 피아노 | 1.7 | 1.5 | 2.1 | 1.7 | 1/4 |
| 차 옆 여성 | 1.9 | 2.2 | 2.7 | 1.6 | 0/4 |
행: 체스, 배드민턴, 차 옆 여성, 드럼, 코바늘, 종이접기, 호떡, 피아노. 첫 열은 기존 49f 결과 첫 프레임, 이후 0~208f.
같은 시점의 ego prior와 exo. 배드민턴(208f), 차(182f 이후), 코바늘(130–182f)은 prior가 비거나 튐.
밝기 누적: 첫 40f → 마지막 9f 평균 R 채널 피아노 92.6→118.1, 체스 48.2→62.4, 배드민턴 58.3→74.3, 종이접기 42.9→58.5.
후반 붕괴 3건: 배드민턴 시점이 천장으로 돌고, 차 옆 여성은 사람이 사라지고, 코바늘은 거의 검어짐. 같은 구간 prior가 비어 있음(배드민턴 prior 밝기 46.5→17.9, 차 5.4). 인과는 미검증.
4Takeaway
기법 자체는 5 chunk까지 버티지만(3클립 전 경계 통과) 범용으로 매끄럽다고 하기엔 이르다. 길어질수록 병목이 ego 궤적 전처리로 옮겨가고, 밝기 drift는 chunk 수에 비례해 커진다. 피아노·차는 prior가 멀쩡한 구간에서도 경계가 튀어 모델 쪽 문제도 남아 있다.
5Next
- SAM3D head pose 튐 구간 보간/스무딩 (build_meta.py) 후 배드민턴·차·코바늘 재생성
- 밝기 drift 원인: chunk별 overlap latent 통계 비교, 학습 없는 색 보정 시험
- 피아노·차 경계 실패를 seed 3개로 재현성 확인