VQA Benchmark Landscape & Differentiation

Graph_VLM — Research Notes

260406-260412 · 8 benchmarks · Everyday Episodic Memory positioning

Benchmarks8
Categories5+3
Difficulties4
ScenarioAR 글래스

Research Question

긴 egocentric 비디오에서 일상 에피소딕 메모리("어디 뒀지?", "했나 안 했나?", "오늘 뭐 했지?")를 정확히 답하는 시스템을 어떻게 만들 수 있는가? 기존 VLM 벤치마크 중 어느 것이 이 task에 가장 가깝고, 우리 시공간 그래프 접근법은 어떤 부분에서 차별점을 갖는가?

Related Work — 8개 벤치마크 비교

벤치마크영상 길이핵심 태스크우리와의 관련성
Ego4D NLQ/MQ수분~수시간자연어 → 시간 구간 검색가장 직접적 — 시간 특정 + 장시간
NExT-QA~44초인과(48%)/시간(29%)/설명(23%)인과/시간 추론 — 그래프 체인 강점
EgoSchema3분장기 시간적 이해, 5지선다장시간 + egocentric
STAR~30초상호작용/순서/예측장면 그래프 기반 구조 추론
EgoPlan다양"다음 행동은?" 계획 추론action 그래프로 가능
LongVideoBench~473초~1h참조 추론장시간 + 구간 검색
Video-MME11s~1h12개 태스크 포괄 평가
Ego4D VQ수시간"마지막으로 X 어디?" 시각 검색에피소딕 메모리 직접 연결

기존 VLM이 실패하는 공통 원인

  1. 시각 토큰 폭증: 장시간 영상 → 컨텍스트 윈도우 초과
  2. 시간적 일관성 붕괴: 균일 프레임 샘플링이 핵심 순간을 놓침
  3. 멀티홉 추론 부재: 인과 체인 추론 불가
  4. 구조화된 지식 부재: 객체-행동-시간 관계가 명시적이지 않아 복합 질문에 취약

최신 접근법 (2024-2025)

Our Approach — 차별점

VLM 한계Graph-VLM 강점
긴 영상 → 토큰 폭발그래프로 압축, 필요한 부분만 검색
"정확히 언제?" → 시간 못 짚음action/spatial edge에 정확한 timestamp
"X 다음에 뭐?" → 시간순 추론 약함action 노드 시간순 정렬
"X가 어디로 갔어?" → 상태 변화 추적 불가valid_from/valid_until로 추적
"총 몇 번?" → 집계 불가그래프 쿼리로 카운팅

핵심 차별점

spatial edge에 valid_from / valid_until 시간 범위를 부여하는 것이 다른 시스템에 없는 우리만의 강점. 이는 EM2 (State Tracking) 카테고리에서 우리 시스템의 우위로 직결됨.

메인 태스크: Everyday Episodic Memory

학술 벤치마크가 아닌 실용적 에피소딕 메모리. AR 글래스 / always-on 카메라 시나리오에서 사람이 매일 묻는 질문에 답한다.

5개 EM 카테고리

3개 보조 카테고리

4단계 난이도

난이도설명필요 범위추론 깊이
L1 Single-frame한 장면만 보면 답 가능~수초직접 관찰
L2 Within-event하나의 이벤트 내~수십초1-hop
L3 Cross-event여러 이벤트 연결~수분multi-hop
L4 Long-term영상 전체~수십분+집계/요약

Technical Decisions

결정 1 — QA 생성에 그래프 사용 안 함

그래프에서 직접 QA를 추출하면 자기 채점이 되어 벤치마크로 무의미. QA는 순수 VLM + 사람 검증으로 만들고, 그래프는 평가 시에만 사용.

결정 2 — VLM 단독 (Gemini 2.5 Flash)

cost 효율 (~$0.12 / 10분 영상). thinking token 잘림 이슈가 발견되어 gemini-2.0-flash 테스트가 다음 작업.

결정 3 — HLV-1K 식 4단계 난이도 채택

L1~L4 난이도 구분이 우리 카테고리와 자연스럽게 곱해져서 매트릭스 형태 평가가 가능. 기존 벤치마크의 "단일 평면 평가"와 차별.

결정 4 — Phase 2 / QA 생성에서 부자연스러운 질문 패턴 차단

VQA Feedback 사이클에서 식별된 3가지 패턴(타임스탬프 in 질문, 세그먼트 참조, 시간 기반 질문)을 프롬프트 레벨에서 금지.

Open Questions

References