bcaf2815(322/266행, 260903 카드) → v1.1(609076c0, 518행 = target 322 + distractor 196)로 교체, 논문 원천은 scene_bench/final_results/로 고정Restore 태스크는 260903 카드(Restore 태스크 7모델 벤치마크 격자 신설)에서 데이터 버전 bcaf2815(322행, hidden 제외 266행)로 처음 리포트됐다. 이후 데이터 팀이 restore 전용 데이터를 한 차례 더 개정해 v1.1(sha 609076c0)로 확정했고, 행 구성도 518행 = target(자기가 옮긴 물체 단일) 322 + distractor(남이 옮긴 물체) 196으로 바뀌었다. find 태스크는 그대로 v1.0(e987b40f, 589행)을 유지 — find≠restore, 데이터 버전이 태스크별로 분리되는 첫 사례다.
동시에 사용자가 rf-v2(rollforward-v2, naive concatenation baseline)를 논문에서 아예 빼기로 결정했다. MEM-style 텍스트 메모리(원 논문 재현)는 rf-v3 한 줄로만 표기하고, rf-v2 관련 행·순위 서술은 기존 문서(find 4모델 격자, hidden 제외 표, restore bcaf2815 표 등)에서 전부 무시 대상이 됐다. 결과적으로 논문 결과 표는 7전략 → 6전략(blind·textlog·frames-uniform·rf-v3·vis-pure·tagmem-r3) 체계로 통일된다.
v1.1(609076c0, 518행)에서 6모델 × 6전략(rf-v2 제외)을 재측정했다. flash-3.6는 이번 restore 재측정에서 보류 상태(추후 완주 예정)라 현재 표는 5개 API 계열 중 flash-3.7·sonnet-5·luna 3종 + 오픈소스 3종(qwen3vl-8b·cosmos-r2-8b·molmo2-8b) 총 6모델이다.
새로 신설한 분해는 Direct ①/② — 질의 문구 "지금 어디 있나"의 정답 물체가 ① target(로봇 자신이 옮긴 물체, single, 215행)인지 ② distractor(다른 에이전트가 옮긴 물체, 196행)인지로 나눠 채점한다. ②열의 "오라클"은 textlog(action-log 기반)가 원리적으로 답할 수 없는 영역이라 "action-log oracle N/A"로 별도 표기 — subtasks.json은 로봇 자신이 수행한 행동만 기록하므로, 로봇이 하지 않은 이동은 정의상 로그에 없다(N/A, 기권률 84%).
| 전략 | flash-3.7 | sonnet-5 | luna | qwen3vl-8b | cosmos-r2-8b | molmo2-8b |
|---|---|---|---|---|---|---|
| blind | .035/.010 | .006/.002 | .027/.002 | .031/.004 | .074/.010 | .037/.002 |
| textlog (oracle) | .589/.481 | .575/.485 | .585/.478 | .261/.195 | .228/.177 | .363/.306 |
| frames-uniform | .248/.107 | .138/.031 | .154/.037 | .070/.019 | .101/.012 | .078/.012 |
| rf-v3 (MEM-style) | .150/.051 | .135/.023 | .140/.018 | .027/.004 | .066/.018 | .023/.006 |
| vis-pure (MemER-style) | .351/.162 | .133/.037 | .138/.027 | .078/.016 | .086/.016 | .068/.008 |
| tagmem-r3 (ours) | .316/.138 | .103/.031 | .135/.025 | .043/.008 | .037/.006 | .039/.002 |
| 전략 | ① target | ② distractor | 비고 |
|---|---|---|---|
| textlog (oracle) | .95 | .03 | action-log oracle N/A — 정의상 붕괴 |
| tagmem-r3 (ours) | .53 | .13 | |
| rf-v3 (MEM-style) | .25 | .08 | |
| vis-pure (MemER-style) | .46 | .29 | flash-3.7 기준, ② 최고값 |
| frames-uniform | .37 | .17 | |
| sonnet/luna 전략 전체 | — | ≤ .13 | |
| 오픈소스 8B 전체 | — | ≤ .07 |
혼합 표(위 본표)의 textlog 오라클 .589는 target+distractor가 섞인 값이다. target 행만 따로 보면 오라클은 .93~.95로 매우 높다 — 즉 "쓰기 병목"이 아니라 애초에 oracle이 접근 불가능한 영역(distractor)이 존재한다는 것이 이번 분해의 핵심.
이번 갱신은 두 가지를 동시에 확정한다. (1) 데이터 최종본 위치 — find/restore가 서로 다른 sha·행수를 가진 최종 버전으로 갈라졌고, 앞으로 표 재현은 전부 scene_bench/final_results/를 원천으로 삼는다. (2) 표 체계 통일 — rf-v2 배제로 6전략 체계가 되면서, find/restore 두 태스크의 논문 표 열 구성이 처음으로 완전히 일치한다.
self/other 분해는 벤치 설계의 A1 공리("관측에 없는 정보를 채워야 한다")를 restore 태스크에서 한 번 더, 더 극단적으로 실증한다 — "남이 옮긴 물체"는 로봇의 관측·행동 로그 어디에도 없으므로 oracle조차 못 푸는 상한 붕괴 사례이며, 이는 260904 가시성 ablation의 "seen/unseen" 구분과 같은 계열의 논증이다(관측 가능 여부가 곧 난이도를 가른다).
flash-3.6이 restore v1.1에서 아직 보류 상태 — 재측정 완료 전까지는 find(4모델)와 restore(3모델 API) 사이에 모델 커버리지 비대칭이 남는다. 또한 기존에 7전략으로 이미 작성된 카드(v1final_model_grid_results, hidden_exclusion_main_table, restore_task_7model_grid, open_vlm_3model_grid)의 실제 §5 LaTeX 표가 6전략으로 아직 갱신됐는지 미확인.
(1) flash-3.6 restore v1.1 재측정 완료 후 6모델→7모델 표 갱신. (2) 논문 §5의 모든 결과 표를 6전략 체계로 일괄 재작성(rf-v2 열 삭제, rf-v3 단독 표기로 캡션도 수정). (3) Direct ①/② 분해를 본문 표로 넣을지 부록으로 옮길지 결정 — oracle N/A 표기 방식(각주 vs 별도 열)도 함께 확정.