EgoX long video: mask 신호 prefix LoRA pilot

TL;DR

경계가 이어진다: 89프레임 9회 중 7회가 기준(1.5배 이하) 통과, 중앙값 1.2배. 학습 전은 3.5–5.3배.
3 chunk도 유지: 129프레임의 경계 6개가 모두 1.5배 이하이고 세 번째 chunk의 선명도가 떨어지지 않는다.
화질 붕괴 없음: 이전 방식이 무너지던 step 1,500에서 선명도 100–319. 단 호떡·야구장은 기존 LoRA보다 11–35% 어둡다.

7 / 9

89f 경계 기준 통과

6 / 6

129f 경계 기준 통과

1.2x

경계 차이 중앙값

-11~-35%

호떡·야구장 첫 chunk 밝기

1 배경 / 목적

prefix 조건 LoRA는 경계를 이어 주지만 step 1,500에서 처음부터 생성하는 첫 chunk가 무너졌고, 대조 실험으로 원인이 prefix 조건임을 확인했다. "주어진 프레임" 신호가 없다는 점과 prefix 샘플 비율(75%)을 고쳐 다시 검증했다.

2 작업 내용

--prefix_mask : prefix 프레임의 ego 영역에서 mask 채널 = 1, 조건 채널 = clean latent (ego prior 대신) --prefix_none_prob 0.5: prefix 없는 step 비율 25% -> 50% 추론 : OVERLAP_CLEAN=1 OVERLAP_MASK=1 학습 : checkpoint-10000 시작, 4 GPU, lr 2e-5, 1,500 step, 3,508클립 (job 185694, 6:53:28) 평가 : 89f 3클립 x seed 42/1/2, 129f 3클립 seed 42

3 결과

89f 경계 차이 (배수)	seed 42	seed 1	seed 2
호떡	1.2x	2.0x	1.9x
야구장	0.8x	1.0x	0.6x
대장간	1.0x	1.4x	1.3x

첫 chunk 밝기 / 선명도 (기존 LoRA)	seed 42	seed 1	seed 2
호떡	55.4 / 140 (62.1 / 68)	52.1 / 100 (67.4 / 80)	43.6 / 104 (67.5 / 103)
야구장	48.1 / 117 (59.9 / 139)	39.1 / 117 (57.6 / 101)	50.8 / 157 (60.5 / 161)
대장간	83.5 / 319 (75.2 / 146)	85.4 / 251 (78.9 / 190)	75.5 / 316 (58.2 / 144)

Figure 1: 행마다 경계 주변 프레임 45–52, 기존 LoRA 첫 chunk의 프레임 0/48, 새 LoRA 첫 chunk의 프레임 0/48. 위에서부터 호떡, 야구장, 대장간 각 seed 42/1/2.

129f (3 chunk)	경계 1	경계 2	선명도 0–39 → 80–119
호떡	1.4x	0.9x	99 → 147
야구장	1.1x	1.5x	129 → 139
대장간	1.0x	1.5x	317 → 360

Figure 2: 129프레임 결과를 8프레임 간격으로. 각 칸의 왼쪽이 exo, 오른쪽이 생성된 ego.

통과: 경계 연속성(89f 7/9, 129f 6/6), 첫 chunk 선명도 유지.

남은 문제: 호떡·야구장 첫 chunk가 기존보다 어둡다. 야구장 seed 42, 1은 첫 프레임이 거의 검다. chunk가 지날수록 밝아지는 누적 변화가 있다(chunk당 약 +6 ~ +11).

4 Takeaway

의미

경계가 이어지면서 처음부터 생성하는 품질도 무너지지 않는 상태를 처음 얻었다. 다만 3클립, 최대 3 chunk 기준이고, mask 신호와 K=0 비율 중 어느 쪽이 효과였는지는 분리되지 않았다.

5 Next Steps

밝기 문제

첫 chunk 밝기 저하, 야구장 첫 프레임 암전, chunk 누적 밝기 상승의 원인 확인.

평가 확대

129프레임까지 컷이 없는 추천 클립 9개 전체, 5 chunk(209프레임) 이상.