2026-10-04 — Experiment
유튜브 자동 수집 → SAM3D ego pose → EgoX 대량 생성
EgoX_H200 | 한국에서 많이 보는 영상 위주, 추천 30개 선별
TL;DR
- 전 과정 자동화: 검색어 → 다운로드 → 구간 탐지 → 생성 전 선별 → 생성 → 채점. 사람 손은 최종 확인뿐.
- 가장 큰 필터는 "정면 샷": 1차 후보 359개 중 187개(52%)가 카메라를 보는 구도라 탈락.
- 수율: 후보 665 → 선별 통과 231(36%) → 생성 217 → 4점 이상 81(38%) → 추천 30.
306
받은 영상
665
1차 후보
217
생성 완료
30
추천 (+예비 12)
1 배경 / 목적
데모 클립을 사람이 고르고 ego pose를 손으로 찍던 과정을 자동화한다. 요구 조건은 한국에서 많이 보는 영상, 정면 샷이 아닌 exo-ego가 겹치는 구도, ego로 바꿨을 때 궁금한 장면.
초기 시행착오: "얼굴이 보여야 함" 조건을 넣은 첫 필터는 정면 대화 샷만 잔뜩 골랐다. 직접 고른 10클립을 분석하니 9개가 옆/뒷모습(시선-카메라 각도 중앙값 99°)이었다.
2 작업 내용
scripts/auto_ego/scrape/
collect.sh yt-dlp, H.264 720p 이하, 20초~15분
find_clips.py 컷 검출 → 고정 카메라(ORB+RANSAC) → 사람/손목(Keypoint R-CNN) → 움직임 → 영상당 최대 4개
screen_chunk.sh 후보를 ViPE → SAM3D → prior 렌더까지만 실행
rank_clips.py facing_cam_deg >= 60, prior_coverage >= 0.25 통과 + 손/다른 사람이 ego 시야에 드는 비율 가점
submit_generate.sh 통과 클립을 클립당 1 job으로 캡션 + 생성
make_sheet.py [exo | ego] 미리보기 시트
선별 기준값은 직접 고른 in-the-wild 10클립의 통계에서 가져왔다: 시선-카메라 각도 18~166°(중앙값 99°), prior 채움 비율 0.14~0.48(중앙값 0.41).
3 결과
| 단계 | 1차 배치 | 3차 배치 |
|---|---|---|
| 받은 영상 | 177 | 129 |
| 1차 후보 | 366 | 299 |
| 2차 선별 처리 | 359 | 274 |
| 통과 (정면 아님 + prior 채움) | 131 (36%) | 100 (36%) |
| 생성 완료 | 124 | 93 |
채점(213개): 5점 24, 4점 57, 3점 67, 2점 40, 1점 25.
Figure 1: 추천 클립 (각 행 = 프레임 0/24/48의 [exo | 생성된 ego])
Figure 2: 추천 클립 (계속)
Figure 3: 추천 클립 (계속)
잘 되는 유형: 손으로 뭔가 하는 근거리 옆모습(호떡, 대장간, 피아노, 체스, 종이접기, 네일)과 상대를 마주 보는 구도(식탁, 당구, 배드민턴, 타석).
실패 유형: 스포츠 와이드샷에서 천장·관중석만 나옴, 색이 파랑/녹색으로 바뀜, 본인이 3인칭으로 보임, 암전·블러. 캡션 실패 3건.
4 Takeaway
의미
후보 대비 최종 추천 비율은 약 4.5%지만 전 과정이 자동이라 수량으로 밀 수 있다. 가장 큰 낭비였던 정면 샷은 생성(클립당 약 10분) 전에 SAM3D 머리 방향(약 5분 단계)으로 걸러진다.
5 Next Steps
미해결 한계
자막·그래픽 overlay 자동 필터 없음. ego 대상이 "가장 큰 사람"으로 자동 결정됨. 파란 톤 색 불일치 원인 미확인. 유튜브 연속 다운로드 시 403 차단.
다음 작업
추천 30개를 사용자 확인 후 확정. 필요 시 유형별(영화 결투·대국, 손 동작) 검색어를 더해 추가 배치.