QA v2 전체 결과

TL;DR

전체 질의 1,754개(행 10,524개)가 오류·파싱 실패 0으로 끝났습니다. 메모리 방법 중에서는 R&R Agent가 다섯 세트 모두 1위이고, Finding에서는 정답 행동 로그(GT Action Log)보다도 높습니다.

1,754

질의

오류

~$333

API 비용

0.560

Finding R&R

1배경/목적

v2에서 정답 라벨·이름표·채점을 고친 뒤 논문 메모리 QA 표를 새 데이터로 다시 냅니다. 10-14 샘플(37질의)은 방향만 보여 줬기 때문에 전체 질의로 점수를 확정하는 것이 목적입니다.

2작업 내용

키 두 개로 세트를 나눠(qualcomm_3: Finding·Restore, Letsur: Routine·Resume) 키당 하루 $95 안에서 8 shard로 돌렸습니다. 녹화 단위로 체크포인트를 남겨 다음 날 이어서 돌렸고, 끝난 뒤 shard 체크포인트를 합쳐 다시 집계했습니다(API 호출 0).

tmp/qa_full/run_day.sh (KEY_LABEL, FAMILIES) tmp/qa_full/merge.sh → runs/qa_v2_full/merged/<family>/results.json

3결과

주 지표 (Finding·Restore·Routine = place_set, Resume = resume_ok)

세트	No Memory	GT Action Log	Uniform	MEM^R	MemER^R	R&R Agent
Finding	0.124	0.490	0.379	0.492	0.544	0.560
Restore	0.002	0.540	0.153	0.211	0.252	0.274
Routine	0.010	0.731	0.201	0.506	0.299	0.627
Resume 61871a3e	0.019	0.991	0.302	0.321	0.274	0.406
Resume fd856246	0.036	1.000	0.218	0.145	0.291	0.400

초록 = 행 최고, 빨강 = 행 최저, 굵게 = 메모리 방법(Uniform~R&R) 중 최고.

완결성

세트	녹화	질의
Finding	100	720
Restore	100	563
Routine	100	310 (채점 308)
Resume 61871a3e	66	106
Resume fd856246	34	55

기권률 (abstain_rate)

Finding 0.646 / 0.393 / 0.072 / 0.285 / 0.039 / 0.033 · Restore 0.934 / 0.419 / 0.130 / 0.348 / 0.117 / 0.044 (No Memory → R&R 순)

비용

qualcomm_3 약 $213 (86.3 + 90.0 + 36.7), Letsur 약 $115~122. 매일 키당 $95 한도 안.

4Takeaway

R&R Agent가 메모리 방법 중 5세트 모두 1위. Finding에서는 영상만 보고 GT Action Log(0.490)를 넘음(0.560).

Restore·Routine·Resume는 GT Action Log가 크게 앞섬(Resume 0.99~1.00). 로그에 이동 결과가 적혀 있어 사실상 상한.

No Memory는 거의 0(Restore 0.002, 기권 93%) → 질의가 장면 상식만으로는 안 풀림. Uniform은 개수는 맞추지만(count 0.85) 위치는 못 맞춤(Restore 0.153).

5Next

논문 v1 표와 순위·간격 비교
Restore 메모리 방법 오답 유형 분석
실행 트랙 전체 재실행(승인 필요), writer 입력 ablation 재개, navigation 분석

data v2 메모리 QA 전체 결과