rollforward_v3b)로 rf-v3 D1 +.107·D3 +.222 개선되면서, 온라인 시드도 v2 ingest에서 가져오도록 재실행(같은 134질의 268행, $19.95)anchor 모드(틀린 가구 지목) 8→22로 3배 증가읽기 트랙에서 writer 프롬프트를 v1→v2(공통 코어 + 편 종류별 힌트 + rollforward_v3b 재작성 규칙)로 바꾸자 find/restore 여러 지표가 개선됐다 —
rf-v3 find D1 +.107·D3 +.222(기권 .35→.26), restore D1 +.189. 문제는 온라인 컨트롤 트랙의 rf-v3·vis-pure 메모리 시드가 이 v1 writer의 ingest 산출물을 그대로 재사용하고 있었다는 점 —
즉 읽기 트랙은 이미 v2로 넘어갔는데 온라인은 여전히 구 버전 메모리로 실행되는 불일치가 생겼다.
v2 writer로 다시 ingest한 find 메모리(rf-v3 rewrite, vis-pure kept-frames)를 온라인 시드로 교체해 같은 134질의 268행을 재실행했다(job 118366-118370,
preempt 후 --qos=own으로 전환, w4 배치). 사용자 승인 견적 $19.76 → 실비 $19.95.
결과 해석을 위해 원인 후보 세 가지를 순서대로 검증했다 — ① 정보 손실 ② 방 이름 드리프트로 인한 검증 실패 ③ 시드는 맞지만 플래너가 못 뽑음. 세 번째만 살아남았다(아래 3절).
| 셀 | n | SR v1→v2 | 첫nav v1→v2 | 도달 v1→v2 | 픽 v1→v2 | McNemar |
|---|---|---|---|---|---|---|
| D1 | 31 | .35 → .52 | .42 → .55 | .68 → .74 | .29 → .45 | 1/6, p=.125 |
| D2 | 52 | .46 → .21 | .54 → .33 | .71 → .50 | .44 → .19 | 15/2, p=.002 |
| D3 | 8 | .12 → .25 | .38 → .50 | .62 → .62 | .12 → .12 | 0/1 |
| S1 | 26 | .04 → .00 | .31 → .46 | .81 → .73 | .23 → .42 | 1/0 |
| S2 | 17 | .06 → .06 | .71 → .47 | .76 → .71 | .59 → .47 | 0/0 |
| 전체 | 134 | .28 → .22 | .48 → .43 | .72 → .63 | .37 → .33 | 17/9, p=.169 |
rollforward-vis-pure: 전체 .26→.31(10/16, p=.327, 비유의) · D1 .29→.39 · D2 .42→.48 · 종료 done 82→97 — 프레임 선택 규칙만 바뀌어 서술 형식 문제가 없고, 방향은 오히려 개선.
| 가설 | 검증 결과 | 판정 |
|---|---|---|
| ① v2가 인벤토리를 덜 써서 D2 정보가 사라졌다 | D2 정답 카테고리 언급 40/52→35/52, 시드 길이 903→938자(증가), GT 위치 정확히 말한 행 19→17로 거의 동일 | 기각 |
| ② 집에 없는 방 이름이 늘어 검증 실패·재질의 증가 | 비정규 방명 시드 71→59(오히려 감소), requery 62→67(무의미한 변화) | 기각 |
| ③ 시드는 맞는데 플래너가 v2 서술에서 못 뽑는다 | GT 위치를 맞게 말한 행에서조차 첫nav 적중 D2 .74→.59; 첫 navigate anchor 모드 8→22(instance 38→25) — 모델이 틀린 가구를 지목하는 일이 3배 증가 | 확인 |
"placed it onto the living room dresser (holding a vase, credit card, and watch)" 처럼 가구 내용물을 긴 괄호절에 몰아넣는다. D1 물체는 본문 절("I placed X on Y")에 남아 오히려 좋아졌지만,
D2 물체는 괄호 인벤토리 안에만 있어 어느 가구의 것인지 플래너가 오독한다.writer v2는 행동 기록(D1·restore·resume)을 좋게 하면서 관찰 인벤토리의 가독성을 깨뜨렸다. 같은 사실을 담고도 서술 형식이 온라인 플래너의 추출을 무너뜨린다 — "정보량"이 아니라 "형식"이 메모리 전략의 숨은 변수임을 실측으로 보여준다. 읽기 트랙 지표만으로 writer 버전을 확정하면 온라인 트랙에서 역효과가 날 수 있다는 방법론적 함의도 있다 — 앞으로 writer 변경은 읽기+온라인 양쪽에서 함께 검증해야 한다.
D2 붕괴의 근본 원인(괄호절 인벤토리 압축)은 확인했지만 수정 프롬프트는 아직 미검증. vis-pure는 v2로도 문제가 없어 영향 범위는 텍스트 재작성 전략(rf-v3)에 국한된다.
(가) v2 유지 + 이 결함을 결과로 보고(읽기 트랙·resume·restore와 일관되게). 온라인 rf-v3 본표는 v2 수치 사용.
(나) rollforward_v3b 한 번 더 수정 — 괄호 인벤토리 대신 "surface: items" 형식의 평서문으로. 비용: find ingest $12 + 온라인 268행 $20, 단 resume·restore v2 수치도 일관성 위해 재측정 필요.
(다) 온라인 rf-v3만 v1 시드 유지 + 각주. 트랙 간 불일치가 생겨 비권장.