Query Plan V3(3-bug fix) 적용 후, 3개의 서로 다른 "어려움" 정의로 만든 10문 벤치마크에서 Graph V3 / Describe-once / Frame-300 성능을 비교한다. 4/17 평가는 560-QA(쉬운 문제 위주)였고, 오늘은 graph retrieval이 실제로 필요한 hard 질문에서 각 시스템이 어디서 이기고 지는지 확인한다.
| 벤치마크 | 구성 방법 | 파일 |
|---|---|---|
| hardfilt10 | 300-frame 생성 → describe-only 필터 (맞힌 것 drop) → category balance 10개 | data/qa/P01_01_hardfilt10.json |
| hardest10 | 기존 560 중 Graph/Describe/Frame 3-way 모두 틀린 36개에서 L1-L4 mix 10개 | data/qa/P01_01_hardest10.json |
| L34hard10 | 기존 560 중 L3/L4 난이도, n_wrong ≥ 1 조건에서 10개 | data/qa/P01_01_L34hard10.json |
| 벤치마크 | 정의 | Graph V3 | Describe | Frame-300 |
|---|---|---|---|---|
| hardfilt10 | description-proof 자동 필터 | 20% (2/10) | 10% (1/10) | 50% (5/10) |
| hardest10 | 3-way all-wrong mix | 20% (2/10) | 30% (3/10) | 40% (4/10) |
| L34hard10 | L3/L4 hardest | 40% (4/10) | 70% (7/10) | 60% (6/10) |
| Q | 카테고리 | Graph V3 | Describe | Frame-300 | 원본 560 |
|---|---|---|---|---|---|
| Q0 | L4/Aggregation (냉장고 몇 번) | ✗ | ✓ | ✓ | 3-way 모두 ✗ |
| Q1 | L4/Comparison (마지막 action) | ✗ | ✓ | ✗ | 3-way 모두 ✗ |
| Q2 | L3/EM1 (red onion 운명) | ✗ | ✗ | ✗ | 3-way 모두 ✗ |
| Q3 | L4/Missing (kettle 씻음) | ✗ | ✗ | ✓ | G✗ D✓ F✗ |
| Q4 | L3/EM3 (쌀 strain 후) | ✓ | ✓ | ✓ | G✗ D✓ F✗ |
| Q5 | L3/EM3 (stove 마지막 action) | ✗ | ✓ | ✗ | G✗ D✓ F✗ |
| Q6 | L4/Overall | ✓ | ✓ | ✓ | G✓ D✗ F✓ |
| Q7 | L4/Comparison | ✓ | ✓ | ✗ | G✓ D✓ F✗ |
| Q8 | L3/T3 | ✗ | ✓ | ✗ | G✓ D✓ F✗ |
| Q9 | L3/EM1 (visual position) | ✓ | ✗ | ✓ | G✓ D✗ F✓ |
| Q0 | Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | Q7* | Q8 | Q9* | |
|---|---|---|---|---|---|---|---|---|---|---|
| Frame-300 | ✓ | ✗ | ✗ | ✓ | ✓ | ✗ | ✓ | ✗ | ✓ | ✗ |
| Graph V3 | ✓ | ✗ | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| Describe | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ |
* Q7(spoon 2개): 생성자가 rice 요리 hallucination. Q9(kettle 씻음): "fills water, suggests washing" — fill ≠ wash. 이 2개는 GT 신뢰도 의심.
| 시스템 | Clean 5개 정답 | 정확도 |
|---|---|---|
| Frame-300 | 5/5 (Q0✓ Q3✓ Q4✓ Q6✓ Q8✓) | 100% |
| Graph V3 | 2/5 (Q0✓ Q3✓) | 40% |
| Describe | 1/5 (Q8✓만) | 20% |
hardfilt10: description-proof 질문에서 Describe는 무력(10%). Graph도 낮지만(20%) clean 기준 Describe를 +20%p 상회. Frame-300이 50%로 최상위.
hardest10: 3-way 모두 어려운 질문. 전원 낮고(20~40%) 어떤 시스템도 명확한 우위 없음.
L34hard10: Describe 70%로 여전히 천장. Graph V3 40%지만 Graph 단독 정답(Q9)이 존재. "description에 없는 정보"가 필요한 질문에서만 Graph가 이김.
Tier 2 그래프 빌드 수정 후 3개 벤치마크 재평가:
| 항목 | 기대 효과 (hardfilt10) |
|---|---|
| Visual position attribute + container edges | Q5/Q8/Q2 해결 가능 (+2~3) |
| Occurrence count + action chain | Q1/Q4/Q7/Q9 해결 가능 (+2~3) |
| Entity alias edges | Q6 해결 가능 (+1) |
Tier 2 완료 후 예상: hardfilt10 Graph V3 2/10 → 6~8/10. Frame-300 수준(50%)까지 따라잡거나 초과 가능. per-question walkthrough(V1 vs V3 전 항목 상세 비교)는 data/qa/tmp/walkthrough.json + 작업 로그 참조.
QA 품질 개선: Frame-agreement filter 3rd stage — Frame-300 GT 동의 여부로 hallucination 필터링. hardfilt10 Q7/Q9 같은 케이스 방지.