배포형 메모리 3-arm 실측

TL;DR

GT 없이도 메모리가 작동한다 — 에이전트가 자기 프레임을 보고 스스로 쓴 노트만으로 blind 0/6 → 메모리 활용 6/6. 벤치마크가 원래 재려던 루프가 정직한 조건에서 처음 성립
설계 가정이 절차 축에서 뒤집혔다: notes 5/6 > 오라클 textlog 2/6. 원인 확인 — 하네스가 써준 과거형 문장("I navigated to X — succeeded")이 "이미 거기 있다"는 오추론을 체계적으로 유발(6회 중 4회 navigate 생략). 오라클은 절차 축의 상한이 아니다
병목은 write-phase: 실패한 pnp를 노트가 "집어서 그릇에 놓았다"고 완료로 오기록. 같은 시각 증거로 planner는 실패를 올바로 판정 — 판단보다 기록이 약하다
라이브에서만 잡힌 버그: 노트 writer가 텔레포트 이전 방을 기록(수정 전 3/3 오기록) → 사후 재스냅샷으로 수정 + 회귀 테스트
채점 뉘앙스: notes는 대상을 틀리게 지목한 적이 0회 — id 실패로 집계된 2건은 오답이 아니라 navigate(room) 경로 — 설계가 의도한 가장 배포-정합적 행동인데 id 축이 감점. 지표 개정 필요

0/6 → 6/6

blind → notes (메모리 활용)

5/6

notes 절차 정확

2/6

오라클 절차 정확 (역전)

315

테스트 (신규 78)

$1.26

전체 라이브 비용

1 무엇이 바뀌었나 — GT 로그에서 자필 노트로

구성요소	이전 (N9, GT)	이번 (N12, 배포형)
기록 주체	하네스가 결정론적으로 문장 합성	에이전트가 자기 프레임(exo+wrist) + 기존 노트 + 자기 결정을 보고 VLM 1콜로 작성
물체 속성	전역 씬 메타데이터 룩업 (다른 방 물체도)	현재 방 인벤토리 + 관측만
성공/실패	oracle physics predicate	`done_mode="vlm"` — 에이전트가 이미지로 판정. 오라클은 채점 전용
다른 방 물체 지목	메모리에 UID가 있어야 함	`navigate(room)` — 그 방으로 가서 다시 인식

2 결과 — 그리고 뒤집힌 가정

arm	object_id_match	procedure_match	해석
blind (하한)	0/6	0/6	전 시행 오식별 — 기권이 아니라 확신 오답 (N9와 동일 패턴)
notes (배포형)	4/6 — 나머지 2는 room 경로 (틀린 적 0회)	5/6	GT 없이 목표 도달
textlog (오라클)	6/6	2/6	정보는 완전하나 절차를 망가뜨림

오라클 역전의 메커니즘 (원자료 확인): textlog 6회 중 4회가 navigate를 건너뛰고 pick_and_place 직행했다. 하네스 문장 "I navigated to X — succeeded"는 과거 사건을 적었을 뿐인데, 모델은 이를 현재 위치 상태로 읽는다. 두 씬에서 각각 2/3씩 동일하게 발생 — 노이즈가 아니라 형식이 만든 체계적 함정이다. 자유 서술인 notes는 같은 사건을 적으면서도 이 함정을 덜 밟았다.

채점 뉘앙스 — notes의 "실패" 2건은 사실 모범 답안

notes · house 136 · trial 1 — navigate(room="room_4"), object_id=None → id 축 감점

주입된 노트: "Here are my running notes from the episode, written by me while acting (subgoal by subgoal): Navigated to the pen on the dresser in room_4." 추론 원문: "According to memory, the pen is in room_4, but its object ID is not present in the current inventory. I need to navigate to room_4 to locate and identify the pen before picking it up."

더 정확히 말하면: notes는 대상을 틀리게 지목한 적이 한 번도 없다 — 정확한 id를 대거나(4/6), 아직 안 보이니 그 방으로 가서 확인하겠다고 유예했다(2/6). blind가 6/6 전부 엉뚱한 물체를 확신하며 지목한 것과 정반대다. 이것이 설계가 의도한 바로 그 행동이다 — 장소를 기억하고, 가서, 다시 식별한다. id 축이 이 시점에 object_id=None을 감점하는 것은 지표의 문제다. 개정안: id 축을 "첫 물체 수준 행동" 시점에 채점하거나 room-route를 제3범주로 분리. 한계 명시: 이번은 decision-only(max_subgoals=1)라 room 도착 후 실제로 id를 되찾는지는 관측 불가 — 다음 라운드에서 서브골을 늘려 확인해야 한다.

3 노트가 쌓이는 실제 모습 (multi-subgoal 에피소드)

[k=1 시점 주입] Here are my running notes from the episode, written by me while acting (subgoal by subgoal): Navigated to the yellow pencil [pencil_76052b82...] on the dining table [diningtable_f113cf7f...] in room_6. [k=2 시점 주입 — 노트가 한 줄 늘었다] Navigated to the yellow pencil [...] on the dining table [...] in room_6. Picked up the yellow pencil [...] from the dining table [...] and placed it into the bowl [bowl_be7868e9...] in room_6. ← ⚠ 이 pick_and_place는 실제로는 실패(success=False)

실패 사례 W1 — write-phase 환각: 위 두 번째 줄은 실패한 조작을 완료로 기록했다. 결정적 대비: 같은 시각 증거로 planner(done_mode="vlm")는 실패를 올바르게 판정했다. 즉 모델의 읽기(판단)는 되는데 쓰기(기록)가 틀린다 — eval 파일럿의 bowl→"potted plant" 오인식과 같은 계열이며, 설계 문서가 예측한 지배 병목이 온라인에서 재현됐다.

그 외 실패 사례

#	현상	원인 / 조치
W2	노트가 출발 방을 목적지로 기록 (수정 전 3/3)	writer가 텔레포트 이전 방 스코프를 읽음 → 사후 재스냅샷으로 수정, 회귀 테스트 추가. 라이브 실행에서만 드러난 버그
W3	textlog arm의 navigate 생략 (4/6)	§2 오라클 역전 — 형식이 만든 함정
W4	blind의 확신 오식별 (6/6: statue/houseplant/candle을 목표로 대체)	정보 부재 시 기권이 아니라 그럴듯한 오답 — 공리 A5(기권도 정답) 채점 근거

4 의미와 다음 단계

세 가지 판단

① 배포형 메모리는 성립한다. 시뮬 특권 없이, 에이전트가 본 것을 스스로 적은 텍스트만으로 blind가 전멸한 과제를 푼다. 이 벤치마크가 재려던 것이 처음으로 정직한 조건에서 측정됐다.
② 오라클은 축별로 다르다. textlog는 "정보 가용성"의 상한이지 "절차 유용성"의 상한이 아니다 — 공리 A2의 오라클 게이트를 축 단위로 해석해야 한다. 메모리 형식이 성능을 만든다는 증거이기도 하다.
③ 다음 연구 초점은 검색이 아니라 기록이다. 읽기는 되는데 쓰기가 틀린다 — 메모리 전략 비교의 핵심 변수는 write-phase 충실도다.

#	다음 단계	근거
1	지표 개정 (id 축을 첫 물체 행동 시점에 / room-route 제3범주)	§2 뉘앙스
2	notes>oracle 역전 확인 — 표본 확대 + 씬 다양화 (현 n=6)	§2
3	write-phase 강화: 불확실 표기 강제, 모델 축(flash vs sonnet) arm	W1
4	frames(이미지 메모리) arm 추가 · VLA 결합(현재 decision-only, 카메라 zed2)	설계 문서 2순위

배포형 메모리 3-arm 실측 — 자필 노트 vs 오라클 vs blind