유튜브 자동 수집 → 자동 ego pose → EgoX 대량 생성 (추천 30개 선별)

TL;DR

수집→생성 무인화: 영상 306개(177+129) → 후보 665 → 통과 231 (각 36%) → 생성 217 (124+93)
채점: 213개 중 4점 이상 81개 (38%)
정면 샷 편중: 1차 배치 359개 중 187개(52%) facing<60°
추천 30 + 예비 12: 영화·드라마 9, 스포츠 7, 공예 4, 요리 3, 음악 3, 예능 2, 기타 2

665→30

후보 → 최종 (4.5%)

36%

2차 통과율

38%

4점 이상

52%

정면 샷 비율

1 배경 / 목적

in-the-wild 데모를 사람이 고르던 과정을 유튜브 수집 + 자동 구간 선택 + scripts/auto_ego/run.sh 생성으로 대체. 최종 30개 목표. 요구: (1) 한국에서 많이 보는 영상, (2) 정면이 아니라 exo/ego 겹침이 큰 구도, (3) ego로 바꿨을 때 궁금한 장면.

2 작업 내용

수집: scripts/auto_ego/scrape/collect.sh (yt-dlp, H.264 720p 이하, 20초~15분; AV1은 OpenCV 불가 → avc1만) queries_korean.txt 194개 (영화·드라마, 예능, 스포츠, K-pop) / queries_korean2.txt 149개 (선수 뒤 중계, 달인·요리·공예, 대국·결투) 1차 탐지 find_clips.py: 컷 검출 → ORB+RANSAC 호모그래피 고정 카메라(320px 코너 이동 ≤2.5px, 어두우면 equalizeHist) → Keypoint R-CNN 사람(머리 화면 안, 높이 ≥0.15, ≥0.5면 손목) → 사람 영역 움직임 ≥1.0 → 영상당 최대 4개(8초 간격), 끝 20초 제외 직접 고른 10클립 통계: ego 시선-카메라 각도 중앙값 99°(18~166°, 9/10이 50° 이상), prior 채움 비율 중앙값 0.41(0.14~0.48) 2차 선별 screen_chunk.sh + screen_metrics.py + rank_clips.py: ViPE→SAM3D→prior 렌더까지만, 통과 조건 facing_cam_deg ≥ 60, prior_coverage ≥ 0.25, 검출 ≥ 40프레임. ego 50° 원뿔 안 손목/타인 머리 비율 가점 생성 submit_generate.sh: 영상당 최대 3개, 클립당 1 job (sbmr 4, extra QOS) 평가: make_sheet.py 시트를 subagent 2개가 1~5점 채점 → 상위 42개 직접 확인 → 30 + 예비 12

3 결과

단계	1차 배치	3차 배치
받은 영상	177	129
1차 후보	366	299
2차 선별 처리	359	274
통과	131 (36%)	100 (36%)
생성 제출/완료	126 / 124	94 / 93

채점	5점	4점	3점	2점	1점
생성 213개	24	57	67	40	25

정면 샷 편중: 1차 배치 359개 중 187개(52%) facing<60°. "얼굴이 보여야 함" 초기 필터가 정면 쪽으로 치우친 것이 원인.

실패 유형: 스포츠 와이드샷에서 천장·관중석만 나옴, 색 바뀜(축구장·핑크 배경 → 파랑/녹색), 본인이 3인칭으로 보임, 암전·블러. 캡션 단계 3건(게이트웨이 콘텐츠 정책 거부, 형식 미준수). 2차 선별 실패 14건 내외(머리 픽셀 depth 없음, 사람 미검출). 유튜브 403 차단 1차 45건.

추천 예: 이대호 타석, 안세영 배드민턴, 허미미 유도, 당구(차유람), 조성진 피아노, Live Aid 무대, 광해 수라상, 석양의 무법자 결투, 미션임파서블 두바이, 칼슨 체스, 호떡 달인, 대장간, 종이학. 산출물: results/auto_ego_youtube/_recommended/{videos/ 30, backup/ 12, list.json, sheet_*.jpg}, 전체 시트 _sheets/.

4 Takeaway

의미

수집부터 생성까지 사람 손 없이 돌고 후보→최종 비율은 665→30(약 4.5%). 가장 많이 걸러지는 지점은 정면 샷(절반)이며 생성 전에 SAM3D 머리 방향으로 싸게 걸러낼 수 있다. 직접 고른 클립 통계(옆/뒷모습, prior 채움 0.3~0.5)가 자동 선별 기준으로 그대로 유효했다.

5 Next Steps

미해결 한계

자막·그래픽 overlay 자동 필터 없음(채점에서만 표시). ego 대상이 "머리가 화면 안인 가장 큰 사람"으로 고정되어 다인 장면에서 의도와 다를 수 있음. 색 불일치(파란 톤)가 반복되나 모델/prior 원인 미확인. 연속 다운로드 시 403.

다음 실험

OCR 기반 overlay 필터, 수집 속도 제한, 색 불일치 원인 분리(B200 재현 카드의 djokovic 청록 현상과 연계).