← 목록으로

GPT-5.6 Luna 자기 쓰기 — resume 본표 조건(손목 인셋 + 1 fps + 방 목록)

2026-09-23 · scene_bench · experiment
부록 자기 쓰기 표 첫 칸 · 잡 150497/150498 · $10.74 · 오류 0
TL;DR Luna는 같은 새 조건에서 자기 쓰기 전 전략이 blind 수준이다(tagmem .068 · rf-v3 .075 · vis-pure .050 vs blind .106; flash .441/.335/.323). 텍스트 메모리 실패의 지배 유형은 "이미 끝난 과제를 미완료로 나열"(rf-v3 96/161)이고, writer 노트를 보면 없던 역방향 이동을 지어내고 계란을 감자로 쓴다. 새 조건 이득은 텍스트 입력 쪽뿐(textlog .677→.981). 부록에 그대로 싣되 원인을 명시한다.
.068
Luna tagmem (flash .441)
.106
Luna blind
96/161
rf-v3 완료→미완료 나열
$10.74
비용 (예상 $12–15)

1 결과 — 161행 resume_ok

전략Luna 새Luna 구Δ · McNemarflash 새tasks_okremaining_ok기권
blind.106.037+.068 · +16/−5 p=.03.068.373.16119
textlog.981.677+.304 · +50/−1 p<.0011.000.994.9810
frames-uniform.075.099−.025 · p=.50.261.255.0930
rf-v3.075.012+.062 · +12/−2 p=.01.335.286.2176
vis-pure.050.075−.025 · p=.50.323.242.0562
tagmem-r3.068.025+.043 · +10/−3 p=.09.441.193.1371

5모델 표(새 조건, tagmem): flash 자기 .441 · Luna 자기 .068 · flash 메모리 reader 32B .242 · Gemma4 .236 · Qwen3.8 .366. 유형별(Luna/flash, tagmem): 누름 3/25 vs 9 · 담기 1/27 vs 13 · 옮기기 0/17 vs 11 · 방문 3/31 vs 9 · multi 4/61 vs 29.

2 실패 기제 — 행 분류 (기권 제외, 첫 불일치 기준)

전략Luna: 완료를 미완료로(extra)정체 오류누락횟수만 틀림flash: extraflash: 횟수만
rf-v396103344044
tagmem753816202639
vis-pure165351311752
frames156243293374
텍스트 메모리: 끝난 과제를 미완료로 나열한다(rf-v3 96/161). flash 는 정체는 맞고 횟수에서 틀린다. 이미지 메모리: Luna 는 과제 정체 자체를 못 잡는다(정체 오류+누락 ≈100/161).

3 원문 — train_1588:cut_05 (GT: 컵 3개→tv stand 완료, 계란 4개 중 3개 남음)

flash rf-v3 노트 (chunk_end 8844): "… On the dining table were mugs and a plate. … I picked up three mugs from the dining table one by one and placed each onto the tv stand. Next, I moved to a dresser holding several eggs, picked up an egg, carried it over to the desk area … and dropped the egg into a bin on the floor beside the desk." → 답: 계란 4개 중 3 남음 ✓
Luna rf-v3 노트 (같은 지점): "I carried a second cup from the dining table to the tv stand … I then carried another cup from the tv stand back to the dining table and placed it with the other cups. I next moved another cup from the dining table to the tv stand … I grasped one irish potato from the dresser, carried it across the room, and placed it on the white table … then picked up that irish potato … and dropped it into a cylindrical floor bin." → 답: "컵 1 남음 · 계란 4 남음" ✗ (없던 역방향 이동을 지어내 컵 과제를 미완료로, 계란을 감자로 오인)
해석: 원인은 reader 이전에 writer 다. 같은 30장/청크 입력에서 flash 는 단위 행동을 정확히 요약하고 Luna 는 왕복·오인을 만든다. 새 조건의 Luna 이득은 텍스트 입력 쪽뿐(textlog +.30 = 방 목록, rf-v3 +.06)이고 이미지 전략은 p=.50.

4 의미 · 다음