resume Single 에서 vis-pure(MemER)가 1위인 이유
2026-09-24 · scene_bench · analysis
새 조건 flash · 남은 단위 1개 31행 · 메모리 원문·답·reasoning 대조
TL;DR 3행 차이(15 vs 12, p=.58)이고 reader 마다 순위가 바뀐다. 실체는 "Single 컷 = 단위 직후"라 마지막 완료가 30 s ingest 청크 밖에 있는 행이 18/31이고, 텍스트 writer 는 그 꼬리를 못 쓰며 reader 는 장부를 질의 프레임보다 우선해 끝난 끼어들기를 미완료로 나열한다(rf-v3·tagmem 각 11/19 실패). vis 는 질의·마지막 보관 프레임의 최종 상태를 읽어 그 18행에서만 앞선다(.61 vs .39). 대신 160×120 인셋 개수를 오독(3→4)해 반대로 틀리기도 한다.
15 / 12
vis / tagmem (31행), p=.58
18/31
마지막 완료가 청크 밖
.61 vs .39
꼬리 18행 vis vs tagmem
11/19
텍스트 실패 중 '끝난 과제를 미완료로'
1 통계 — 유의하지 않고 reader 비일관
| reader (flash 메모리) | vis-pure | tagmem | rf-v3 | frames |
|---|---|---|---|---|
| Flash (자기 쓰기) | 15 | 12 | 12 | 11 |
| Qwen3.8-27B | 14 | 12 | 9 | 11 |
| Gemma 4-31B | 6 | 6 | 3 | 3 |
| Qwen3-VL-32B | 4 | 7 | 7 | 6 |
McNemar: vis vs tagmem +8/−5 p=.58 · vs rf-v3 +10/−7 p=.63 · vs frames +10/−6 p=.45. "MemER 가 Single 에 강하다"는 서술은 과장.
2 기제 — 마지막 완료가 ingest 안 된 꼬리에 있다
| 꼬리에 마지막 완료 (18행) | 청크가 덮음 (13행) | |
|---|---|---|
| vis-pure 정답 | 11 (.61) | 4 (.31) |
| tagmem 정답 | 7 (.39) | 5 (.38) |
| rf-v3 정답 | 5 (.28) | 7 (.54) |
Single 컷은 단위 직후(cut_site=unit)라 마지막 완료 단위의 끝이 마지막 30 s 청크 경계 뒤에 오는 행이 18/31(꼬리 중앙값 94프레임, ≥10 s 9행). 텍스트 writer 는 완성 청크만 쓰므로 장부는 "holding the bowl"·"pressed twice" 에서 멈춘다. 질의 프레임은 전 전략이 같이 받지만 텍스트 reader 는 장부를 우선한다.
| 실패 유형 (31행) | 완료를 미완료로(extra) | 횟수 과대 | 누락 | 정체 | 기권 |
|---|---|---|---|---|---|
| rf-v3 (19 실패) | 11 | 5 | 3 | 0 | 0 |
| tagmem (19 실패) | 9 | 4 | 4 | 2 | 0 |
| vis-pure (16 실패) | 4 | 5 | 4 | 2 | 1 |
| frames (20 실패) | 7 | 11 | 2 | 0 | 0 |
끼어들기("Hold on —") 과제: 텍스트 extra 의 대부분이 이미 끝난 끼어들기(rf-v3 11 · tagmem 11, 그중 주 과제 횟수는 맞은 행 8·7). tagmem 장부에 그 물체의 완료 항목이 아예 없는 행 7/11, 있어도 검색 안 됨/모호("placed the bowl back onto the desk") 4/11.
3 사례 A — train_910:cut_05 담기(계란 5, 1 남음): vis ✓ · tagmem ✗ r=2 · rf-v3 ✗ r=5
vis-pure reader 가 본 8장 + 질의 프레임(exo 320×240 + 손목 160×120). IMG6 t=271 s 인셋에 바구니 속 계란 4개, IMG7 테이블에 3개+리모컨.
vis: "successfully placed 4 eggs into the basket (visible at t=271.0s) … 1 egg remains" → r=1 ✓
tagmem retrieved: "Robot dropped the irish potato into the laundry basket, which now holds 4 irish potatoes" (t 270–300) · "Laundry basket containing 4 irish potatoes" (f6776)
tagmem reasoning: "placed 3 eggs (t=120,180,270; one egg was mistakenly dropped into the trash at t=30) → 2 remaining" ✗ ← 상태 기록 대신 사건을 셈
rf-v3 노트: "I discarded seven irish potatoes into the trash can, then returned the remote …" → "not been started yet, 5 remaining" ✗ ← 재작성 붕괴
4 사례 B — train_8263:cut_05 누름(3회, 1 남음; 끼어들기 2건 완료): vis ✓ · tagmem/rf-v3 ✗ "bowl move unfinished"
컷 f5640, 마지막 ingest 청크 끝 f5249, 그릇 놓기 완료 f5633(꼬리). IMG8 t=210 s 는 그릇을 든 상태, QUERY 프레임에는 그릇이 테이블에 놓여 있다.
tagmem retrieved 마지막: "Robot holding the bowl in its gripper" (f5249) → "only picked up the bowl and was stopped before placing it, leaving 1 bowl move unfinished" ✗
rf-v3 노트: "navigated to a desk, picked up a bowl, and placed it back on the desk" → reader: '다른 쪽 끝'이 아님 → 미완료 ✗
vis: "resumed and performed a 2nd press before being interrupted to move the bowl (which was also completed). Thus, 1 press remains" ✓ ← 질의 프레임의 최종 상태
5 사례 C — train_7256:cut_04 담기(계란 4, 1 남음): vis ✗ [] · tagmem ✓
IMG8 t=277 s 인셋의 바구니에는 계란 3개. vis 는 4개로 읽었다.
vis: "Command 1 … completed by t=277.2s as seen by the four eggs in the basket. Command 2 … also completed" → unfinished [] ✗ ← 160×120 인셋 오독
tagmem: "placed 3 eggs into the basket (at t=90s, t=180s, and t=270s) … leaving 1 egg remaining" ✓ ← 사건 3건이 장부에 있음
6 의미
논문 서술: "MemER 가 Single 에 강하다" 대신 — 남은 단위 1개 컷은 단위 직후라 마지막 완료가 30 s 청크 밖에 있는 행이 58%; 텍스트 writer 는 그 꼬리를 못 쓰고 reader 는 장부를 우선해 끝난 과제를 미완료로 나열한다. 이미지 메모리는 질의·마지막 보관 프레임에서 최종 상태를 읽어 이 행에서 앞서지만 인셋 개수 오독으로 반대로 틀리기도 한다. Multi(130행)에선 여러 과제의 정체·횟수에 텍스트 이력이 필요해 tagmem .454 vs vis .285 — "이미지 = 최종 상태, 텍스트 = 사건 이력" 상보성. 평가 조정 없음.
7 업데이트 — 같은 메모리 3회 읽기 재현성 ($7.31, 오류 0)
| Single 31행 | read0(본표) | rep1 | rep2 | 평균±sd | 3회 중 뒤집힌 행 | 다수결 |
|---|---|---|---|---|---|---|
| vis-pure | 15 | 13 | 14 | 14.0±0.8 | 7 | 15 |
| tagmem | 12 | 13 | 12 | 12.3±0.5 | 3 | 12 |
| 161행 | read0 | rep1 | rep2 | 평균±sd | 뒤집힌 행 | 다수결 |
|---|---|---|---|---|---|---|
| vis-pure | 52 | 51 | 50 | 51.0±0.8 | 37 | 50 |
| tagmem | 71 | 70 | 72 | 71.0±0.8 | 15 | 70 |
결론: 회차별 Single 격차 +3 / 0 / +2 — 방향은 일정하지만 크기는 0~3행이고 다수결 p=.58. 행 단위로는 vis 가 tagmem 보다 2배 이상 흔들린다(37 vs 15 / 161행). 161행 전체의 tagmem 우위(−19~−22)는 안정. Single 칸은 3회 평균(vis 45.2 · tagmem 39.8) 또는 다수결로 쓰고 sd 를 각주로.
8 업데이트 — 본표 열 시험 배치 + 세 가설 검증
| flash Resume (S / M / Avg) | vis-pure | tagmem |
|---|---|---|
| 본표(read0) | 48.4 / 28.5 / 32.3 | 38.7 / 45.4 / 44.1 |
| 3회 다수결 | 48.4 / 26.9 / 31.1 | 38.7 / 44.6 / 43.5 |
| 3회 평균 | 45.2 / 28.5 / 31.7 | 39.8 / 45.1 / 44.1 |
| tagmem 최대·vis 최소(rep2) | 45.2 / 27.7 / 31.1 | 38.7 / 46.2 / 44.7 |
어느 변형에서도 bold 위치는 같다(Single vis · Multi/Avg tagmem). 회차를 결과 보고 고르는 것은 체리피킹이라 채택 후보는 3회 평균 또는 다수결.
| 가설 | 판정 | 근거 (Single 31행) |
|---|---|---|
| ① vis-pure = 손목 뷰에 남은 최종 상태를 읽어 맞힌다 | 절반 | 담기·옮기기 vis 정답 9행 중 상태 스냅숏 직접 읽기 4("4 visible at t=271", "6 apples on tv stand → 4 moved"), 사건 세기 5. 끼어들기 완료는 질의 프레임(전 전략 공통)에서 읽음. 보관 프레임에 pending 마지막 단위 이후 장면이 있는 행은 2/15. |
| ② rf-v3 = 잘못 세서 틀린다 | 아니다 | 실패 19: 끝난 과제 미완료 11(노트에 완료 서술 없음 7 = 전부 청크 꼬리, 서술 있는데 오판 4) · 횟수 틀림 5 · 누락/정체 3. |
| ③ tagmem = 검색 안 돼서 틀린다 | 소수 | 실패 19: 장부에 완료 항목 없음 6(꼬리 4·writer 누락 2) · 있으나 검색 안 됨 3 · 검색됐는데 오판 2 · 횟수 틀림 4(3행은 검색된 상태 항목이 정답을 담음) · 누락/정체 4. |
공통 원인: 컷 직전 30 s 꼬리가 텍스트 메모리에 없음(rf-v3 실패 13/19 · tagmem 11/19 가 꼬리 행) + 텍스트 reader 는 질의 프레임보다 장부를 우선.
9 사용자 결정 — Resume Single/Multi = pending 과제 수 (100 / 61)
기존 표는 남은 행동 단위 수(1 vs ≥2, 31/130)로 갈랐다. 과제 수 기준으로 바꾸면 모든 reader·전략에서 tagmem 이 Single·Multi·Avg 1위가 된다(Avg 는 불변).
| Resume (S 100 / M 61 / Avg) | frames | rf-v3 | vis-pure | tagmem |
|---|---|---|---|---|
| Flash 본표 | 33.0/14.8/26.1 | 34.0/32.8/33.5 | 41.0/18.0/32.3 | 42.0/47.5/44.1 |
| Qwen3.8 (flash 메모리) | 23.0/9.8/18.0 | 34.0/24.6/30.4 | 29.0/8.2/21.1 | 39.0/32.8/36.6 |
| Gemma4 (flash 메모리) | 14.0/0.0/8.7 | 16.0/14.8/15.5 | 18.0/3.3/12.4 | 25.0/21.3/23.6 |
| Luna 자기 쓰기 (부록) | 11.0/1.6/7.5 | 8.0/6.6/7.5 | 6.0/3.3/5.0 | 7.0/6.6/6.8 |
반영(논문 저장소 워킹트리, 미푸시):
build_subtype_table.subtype('Resume') = pending 과제 수 · refresh_main_table.py root 수정(정의 변경 전 커밋본 재현 확인) · tier1 전략 행/$n$ 100/61/캡션 · appendix_evaluation 문장 2곳 · 부록 생성기 채점 경로를 refresh 와 동일하게(flash 셀 불일치 0). 어제의 "본표 생성기 재현 실패"는 구 생성기 얘기였고 실제 생성기(refresh)는 재현된다 — 정정.10 직접 검정 — "텍스트는 못 세고 vis 는 최종 이미지로 안다"? (resume1 셀 수 있는 69행)
| 주 과제 남은 개수 오차 | 과제 있음 | 정확 | +1 | +2↑ | −1 | −2↓ | 정확률 |
|---|---|---|---|---|---|---|---|
| tagmem | 66 | 47 | 14 | 4 | 1 | 0 | .71 |
| rf-v3 | 65 | 39 | 18 | 8 | 0 | 0 | .60 |
| vis-pure | 59 | 35 | 13 | 3 | 5 | 3 | .59 |
| frames | 67 | 34 | 19 | 9 | 2 | 3 | .51 |
지지되지 않음: 텍스트(tagmem)가 남은 개수를 가장 잘 센다. vis 는 pending 과제 마지막 단위 이후 보관 프레임이 있어도 .62(없으면 .44)이고, 같은 행에서 tagmem 은 .73/.78. 텍스트 오차는 전부 과대(마지막 놓기 미기록), vis 는 과대·과소 혼재(인셋 오독). 꼬리 12행에서 무너지는 건 rf-v3(3/10)뿐. 구 정의 Single 31행의 vis 우위는 개수가 아니라 끝난 끼어들기 나열(tasks_ok 실패) 때문이었고 새 정의에선 사라진다.