긴 egocentric 비디오에서 일상 에피소딕 메모리("어디 뒀지?", "했나 안 했나?", "오늘 뭐 했지?")를 정확히 답하는 시스템을 어떻게 만들 수 있는가? 기존 VLM 벤치마크 중 어느 것이 이 task에 가장 가깝고, 우리 시공간 그래프 접근법은 어떤 부분에서 차별점을 갖는가?
Related Work — 8개 벤치마크 비교
벤치마크
영상 길이
핵심 태스크
우리와의 관련성
Ego4D NLQ/MQ
수분~수시간
자연어 → 시간 구간 검색
가장 직접적 — 시간 특정 + 장시간
NExT-QA
~44초
인과(48%)/시간(29%)/설명(23%)
인과/시간 추론 — 그래프 체인 강점
EgoSchema
3분
장기 시간적 이해, 5지선다
장시간 + egocentric
STAR
~30초
상호작용/순서/예측
장면 그래프 기반 구조 추론
EgoPlan
다양
"다음 행동은?" 계획 추론
action 그래프로 가능
LongVideoBench
~473초~1h
참조 추론
장시간 + 구간 검색
Video-MME
11s~1h
12개 태스크 포괄 평가
—
Ego4D VQ
수시간
"마지막으로 X 어디?" 시각 검색
에피소딕 메모리 직접 연결
기존 VLM이 실패하는 공통 원인
시각 토큰 폭증: 장시간 영상 → 컨텍스트 윈도우 초과
시간적 일관성 붕괴: 균일 프레임 샘플링이 핵심 순간을 놓침
멀티홉 추론 부재: 인과 체인 추론 불가
구조화된 지식 부재: 객체-행동-시간 관계가 명시적이지 않아 복합 질문에 취약
최신 접근법 (2024-2025)
STEP (CVPR 2025): 시공간 장면 그래프(STSG) → 그래프 기반 추론 경로로 chain-of-thought 생성. 차이점: 우리는 long-term valid_from/valid_until로 상태 추적까지 추가.
Graph Prompts (IJCAI 2025): 비디오 그래프를 프롬프트로 변환하여 VLM에 구조적 정보 주입. 차이점: 우리는 그래프를 평가 단계에서만 쓰고 QA 자체는 VLM이 직접 생성.
HLV-1K: 1시간 영상 1,009개, 4단계 계층 시간 추론. 차이점: HLV-1K는 평가 데이터셋, 우리는 시스템.
CG-Bench: 답변 전 관련 영상 구간을 먼저 검색(clue-grounded). 차이점: 우리는 그래프가 영구 인덱스 역할.
Our Approach — 차별점
VLM 한계
Graph-VLM 강점
긴 영상 → 토큰 폭발
그래프로 압축, 필요한 부분만 검색
"정확히 언제?" → 시간 못 짚음
action/spatial edge에 정확한 timestamp
"X 다음에 뭐?" → 시간순 추론 약함
action 노드 시간순 정렬
"X가 어디로 갔어?" → 상태 변화 추적 불가
valid_from/valid_until로 추적
"총 몇 번?" → 집계 불가
그래프 쿼리로 카운팅
핵심 차별점
spatial edge에 valid_from / valid_until 시간 범위를 부여하는 것이 다른 시스템에 없는 우리만의 강점. 이는 EM2 (State Tracking) 카테고리에서 우리 시스템의 우위로 직결됨.
메인 태스크: Everyday Episodic Memory
학술 벤치마크가 아닌 실용적 에피소딕 메모리. AR 글래스 / always-on 카메라 시나리오에서 사람이 매일 묻는 질문에 답한다.
5개 EM 카테고리
EM1 Object Retrieval: "가위 마지막으로 어디 놨지?" / "리모컨 어디 갔지?" / "냉장고에서 꺼내고 안 넣은 거 있어?"