| 셀 | 정의(grid_v1final.cell_of) | 중간 런 질의 | 본 런(589) 질의 |
|---|---|---|---|
| D1 Direct ① 내가 한 것 | find_target · single · hidden 아님 — 로봇이 직접 옮긴 물체 | 31 | 215 |
| D2 Direct ② 보기만 한 것 | find_distractor · single · hidden 아님 — 스쳐 본 물체(제자리) | 52 | 268 |
| D3 Direct ③ hidden | 정답이 닫힌 곳에 있음(①②S와 겹쳐 여기서만 셈) | 8 | 63 |
| S1 Stateful ① | D1의 multi(여러 물체) | 6 | 26 |
| S2 Stateful ② | D2의 multi | 3 | 17 |
중간 런은 컨텍스트당 1질의(seed 7) 표본이라 셀 비율이 본 런과 다르다. D3/S1/S2는 n이 작아 참고용.
t=0에 낸 첫 행동이 정답을 겨눴는가. 첫 navigate 도착이 GT ≤0.85 m이거나, 첫 조작 서브골이 GT를 대상으로 실행된 경우.
| 셀 | 질의 | blind | textlog | frames-uniform * | rollforward-v3 | vis-pure |
|---|---|---|---|---|---|---|
| D1 내가 한 것 | 31 | 6/31 = .19 | 25/31 = .81 | 17/31 = .55 | 19/31 = .61 | 13/31 = .42 |
| D2 보기만 한 것 | 52 | 17/52 = .33 | 19/52 = .37 | 30/52 = .58 | 29/52 = .56 | 31/52 = .60 |
| D3 hidden | 8 | 1/8 = .12 | 5/8 = .62 | 3/8 = .38 | 3/8 = .38 | 3/8 = .38 |
| S1 ①의 multi | 6 | 2/6 = .33 | 6/6 = 1.00 | 3/6 = .50 | 3/6 = .50 | 4/6 = .67 |
| S2 ②의 multi | 3 | 2/3 = .67 | 3/3 = 1.00 | 1/3 = .33 | 2/3 = .67 | 3/3 = 1.00 |
| 전체 | 100 | 28/100 = .28 | 58/100 = .58 | 54/100 = .54 | 56/100 = .56 | 54/100 = .54 |
기억 + VLA + 스텝 예산까지 통과한 최종 성공. 답별 채점(도달 전용 답은 종료 위치 + done).
| 셀 | 질의 | blind | textlog | frames-uniform * | rollforward-v3 | vis-pure |
|---|---|---|---|---|---|---|
| D1 내가 한 것 | 31 | 6/31 = .19 | 17/31 = .55 | 11/31 = .35 | 14/31 = .45 | 11/31 = .35 |
| D2 보기만 한 것 | 52 | 14/52 = .27 | 17/52 = .33 | 21/52 = .40 | 22/52 = .42 | 20/52 = .38 |
| D3 hidden | 8 | 0/8 = .00 | 2/8 = .25 | 2/8 = .25 | 1/8 = .12 | 1/8 = .12 |
| S1 ①의 multi | 6 | 0/6 = .00 | 1/6 = .17 | 1/6 = .17 | 0/6 = .00 | 0/6 = .00 |
| S2 ②의 multi | 3 | 0/3 = .00 | 0/3 = .00 | 0/3 = .00 | 0/3 = .00 | 0/3 = .00 |
| 전체 | 100 | 20/100 = .20 | 37/100 = .37 | 35/100 = .35 | 37/100 = .37 | 32/100 = .32 |
| 셀 | 질의 | blind | textlog | frames-uniform | rollforward-v3 | vis-pure |
|---|---|---|---|---|---|---|
| D1 내가 한 것 | 31 | 10/31 = .32 | 26/31 = .84 | 16/31 = .52 | 15/31 = .48 | 17/31 = .55 |
| D2 보기만 한 것 | 52 | 13/52 = .25 | 8/52 = .15 | 35/52 = .67 | 28/52 = .54 | 39/52 = .75 |
| D3 hidden | 8 | 2/8 = .25 | 7/8 = .88 | 2/8 = .25 | 3/8 = .38 | 5/8 = .62 |
| S1 ①의 multi | 6 | 0/6 = .00 | 3/6 = .50 | 0/6 = .00 | 0/6 = .00 | 0/6 = .00 |
| S2 ②의 multi | 3 | 0/3 = .00 | 0/3 = .00 | 0/3 = .00 | 0/3 = .00 | 0/3 = .00 |
| 전체 | 100 | 25/100 = .25 | 44/100 = .44 | 53/100 = .53 | 46/100 = .46 | 61/100 = .61 |
blind 첫 행동 적중: D1 .19 · D2 .33 · D3 .12 · S1 .33 · S2 .67. "제자리에 있는 물체"(D2)는 상식으로 맞출 수 있어 바닥이 높다.
| 셀 | 질의 | textlog | frames-uniform * | rollforward-v3 | vis-pure |
|---|---|---|---|---|---|
| D1 내가 한 것 | 31 | +0.61 | +0.35 | +0.42 | +0.23 |
| D2 보기만 한 것 | 52 | +0.04 | +0.25 | +0.23 | +0.27 |
| D3 hidden | 8 | +0.50 | +0.25 | +0.25 | +0.25 |
| S1 ①의 multi | 6 | +0.67 | +0.17 | +0.17 | +0.33 |
| S2 ②의 multi | 3 | +0.33 | −0.33 | +0.00 | +0.33 |
| 전체 | 100 | +0.30 | +0.26 | +0.28 | +0.26 |
전체 행만 보면 네 전략이 +0.26~+0.30으로 똑같다. 셀로 나누면 textlog는 D1에서 +0.61이고 D2에서 +0.04(= 자기가 한 일만 기억), vis는 D2에서 +0.27이고 D1에서 +0.23(= 본 것을 고르게 기억)로 성격이 갈린다. 논문 본표는 이 셀별 이득으로 가는 것이 맞다.
--cap 8)의 2배인 16장으로 돌았다(260908 발견, 코드는 수정됨). 재측정 전까지 frames 수치는 상한으로만 읽는다. 나머지 4전략은 영향 없음.tmp/hf_check/grid_v1final.py cell_of)와 동일하게 맞췄다. 집계 스크립트 tmp/protocol_v2/grid_online.py.