이름 합치기 뒤 소규모 재시험

TL;DR

실행은 오류 없이 끝났고 새 이름(spoon, salt shaker)은 의도대로 쓰입니다. 다만 Resume의 GT Action Log에 옛 단어가 남는 경로가 하나 있어 고쳤습니다.

198

채점 행 (7개 녹화)

API 오류 · 파싱 실패

$5.54

비용 (526 호출)

발견·수정한 버그

1배경/목적

ladle→spoon, pepper shaker→salt shaker로 이름을 합친 뒤, 일부만 다시 돌려 문제없이 도는지, 의도대로 되는지, 새 문제가 있는지 확인했습니다.

2작업 내용

이름이 바뀐 물체가 나오는 녹화 위주로 Finding 3개, Restore 1개, Routine 1개, Resume 2개를 골라 6개 방법을 모두 돌리고, 답변과 근거 문장을 전부 읽었습니다.

sbm "bash tmp/ablation/retest.sh" --gres=gpu:0 -c 8 --mem 32G --time 03:00:00 --qos=extra 결과: runs/retest_261013/<family>/results.json

3결과

정답 수	GT Action Log	Uniform Frames	MEM^R	MemER^R	R&R Agent
Finding (21)	9	11	9	9	11
Restore (4)	4	0	1	4	2
Routine (3)	3	0	1	1	1
Resume (3)	2	2	0	0	3

표본이 작아 방법 간 비교에는 쓸 수 없습니다. Finding의 GT Action Log 9/21은 움직인 적 없는 물체 질의(로그에 정보 없음) 10개가 포함된 결과입니다.

의도대로 된 것. 질의·정답·답변에 ladle이 0회. "Pick up the salt shaker"(3060__1)에서 의자 위 것과 식탁 위 것 어느 쪽을 골라도 정답 처리. remote control의 원래 자리를 "desk"라고 답해도 같은 가구의 다른 이름으로 정답 처리. 어휘 밖이라 버려진 답 0.

버그 (수정함). Resume의 GT Action Log는 녹화에 저장된 문장을 그대로 인용해 "Move the pepper shaker…"라고 적는데, 명령은 "move the salt shaker…"로 바뀌어 있었습니다. reader가 "시킨 것과 다른 물체를 옮겼으니 미완료"라고 답해 오답이 됐습니다(4193__2000). 녹화 문장을 읽어 들일 때 같은 규칙으로 단어를 바꾸도록 고쳤습니다. 해당: Resume 8개 녹화 12행, Routine 14개 녹화 45행.

새로 본 것 (미조치)	규모
이동이 실패로 끝난 물체는 GT Action Log가 최종 위치를 적지 않음. 실제로는 다른 가구 위에 있어 로그만으로는 답할 수 없음	Finding 45행
바닥이 정답이면 방을 채점하지 않음. 부엌 바닥의 컵을 "침실 바닥"이라 답해도 정답	Finding 26행
질의 문구의 복수형 오타 potatos, tomatos	44행
이번 Routine 표본에는 ladle이 없어 Routine의 이름 변경은 확인되지 않음	—

3b결정 반영

바닥 정답도 방을 채점하도록 바꿨습니다(Finding 26행, v2 채점만). 방 없이 floor만 답하면 오답입니다. 이번 표본에서는 MemER^R의 "bedroom floor" 답 1건이 오답으로 바뀝니다(Finding 9→8). 실패한 이동의 로그 표기와 복수형 오타는 그대로 둡니다.

4Takeaway

이름 합치기는 QA 경로에서 의도대로 동작합니다. 실행·파싱에서 새 문제는 없었고, 빠져 있던 경로 하나(녹화 문장)를 막았습니다. 수정 뒤 validate_v2.py 0건, 테스트 294개(QA·데이터)와 939개(실행) 통과.

5Next

결정 필요: 바닥 정답의 방 채점, 실패한 이동의 로그 표기, 복수형 오타 수정 여부
수정된 Resume·Routine 경로를 실제 모델로 확인하는 것은 다음 유료 실행 때(승인 필요)