Graph VLM Deep Analysis

Camera-Aware Entity Resolution, Prompt Optimization, Action Segmentation
3 Analyses
71% Gap Closed
v4 Prompt Version

TL;DR

Camera parameter 기반 entity resolution에서 FoV overlap은 주방 환경에서 구별력이 없고 position distance가 핵심 지표임을 확인. 프롬프트 v3→v4 개선만으로 ideal graph와의 gap을 71% 해소(74→39 노드, 목표 ~25). Action segmentation 과분할 문제도 그룹핑으로 해결했으나 하드코딩 한계 잔존.

Analysis 1

Experiment 01

Camera-Aware Entity Resolution Effectiveness

Why

VLM이 같은 물체에 다른 이름을 부여하는 문제 (예: sink vs kitchen_sink). Camera parameter로 물체 위치를 추정하여 동일성 판단이 가능한지 검증한다.

How
EPIC-Fields 데이터 → Camera pose 추출 (quat + trans) → viewing_similarity 계산 → 동일성 판단

Similarity 공식: viewing_similarity = fov_overlap × exp(-dist / scale). 고정 물체(appliance/furniture)만 대상.

Results
Pair FoV Overlap Position Dist Combined Sim Same Object?
sink vs sink 1.000 0.20m 0.904 Yes
sink vs cutting_board 0.999 3.36m 0.186 No
sink vs fridge 0.915 9.15m 0.009 No
Core Finding FoV(viewing direction)는 주방에서 구별력 없음. 대부분 아래/앞을 향해 촬영하므로 cosine similarity가 ~0.999로 수렴. Position distance가 핵심 차별 지표: 같은 영역 ≈ 1m 이내, 다른 영역 ≈ 3m+.
Limitation 이동 물체(food, tool)에는 사용 불가. 셀러리를 들고 이동하면 카메라 위치가 바뀌어 "다른 물체"로 오판. 이동 물체는 action-chain tracking 별도 필요.

Analysis 2

Experiment 02

Prompt Optimization Impact (v3 → v4)

Why

코드 변경 없이 프롬프트만으로 graph 품질을 얼마나 개선할 수 있는지 검증. Cost-free optimization의 한계를 측정한다.

How

4가지 프롬프트 규칙 추가:

Results
Category v3 v4 Change
Total Objects 74 39 -47%
Person nodes 13 5 -62%
Generic IDs 3 0 -100%
Celery variants 11 2 -82%
Actions 14 10 -29%
Washing over-segmentation 6 1 solved
Estimated unique objects ~25 ~25 —
Gap to ideal 74-25 = 49 39-25 = 14 71% closed
71% Gap Closed
0 Code Changes
4 Prompt Rules Added
Takeaway 프롬프트 개선만으로 ideal과의 gap 71% 해소. 비용 $0. 그러나 VLM이 100% 규칙을 따르지 않아 후처리 파이프라인은 여전히 필요.

Analysis 3

Experiment 03

Action Segmentation Quality

Why

연속된 같은 동작(washing)이 과분할되는 문제. _ACTION_GROUPS 하드코딩의 한계와 downstream VQA 정확도에 미치는 영향을 분석한다.

How

_ACTION_GROUPS에 washing/rinsing/cleaning 그룹을 추가하여 동일 동작 병합. v3 → v4 비교.

Results (v3 → v4)
Metric v3 v4 Status
Washing segments 6 1 resolved
Method none _ACTION_GROUPS hardcode manual
Domain portability N/A Low hardcoded
Downstream Impact Action segmentation 품질이 VQA 답변 정확도에 직결.
Q: "셀러리를 몇 번 씻었나?"
v3: 6번 (오답) → v4: 1번 (정답)
Limitation 하드코딩 한계: 새 도메인마다 수동으로 action group을 추가해야 함. Embedding 기반 유사도 비교로 대체 계획 중.

Next Steps