10/7 전수 조사에서 나온 문제 중 데이터 오류, 측정 과정의 애매함, 어휘로 인한 오채점을 고친다. 고친 뒤 전체를 다시 돌릴 예정이라 과거 런의 출처 문제는 다루지 않는다.
| 영역 | 고친 것 |
|---|---|
| 정답 위치 | Finding 48 질의(계획 목적지 17, 방 8, 낡은 카드 5, 바닥 1, hidden 오라벨 17), Restore 9 질의 |
| 가구 이름 | 협탁류 34종 tv stand → side table. 탁자 19종 전부 table. 목록 19개 + floor |
| 물체 이름 | 질의 단어로 통일(14개 변경). QA 목록 60개 |
| 같은 종류 여러 개 | 어느 것이든 인정: Finding 45행, Restore 20행 |
| Resume 방 방문 | 방 안 2초 이상 기준으로 재계산. 62개 중 44개 변경 |
| 쿼리 프레임 | 실제 녹화 끝. Routine 누출 158 → 2행 |
| 샘플링 | 30초 4장이 7.5초 간격. Uniform 8장에서 쿼리 프레임 제외 |
| 실행 하네스 | 여러 물건 접지, 방 전용 이동, 같은 종류 물체 인정, abort 제거, 예산, 집계 분모 |
| 검사 | 결과 |
|---|---|
| 데이터 검증 (내부 + 원본 대조 + 녹화 재유도) | 0 problem |
| pytest tests/qa tests/data_v2 | 284 passed, 59 skipped |
| pytest tests/agent tests/execution | 938 passed, 6 skipped |
| v1 제어기 프롬프트 384개 | byte-identical |
| v1 QA 파이프라인 | 변경 전 코드와 호출·결과 동일 |
| v2 실행 계획 빌드 | 2,910셀 중 2,840 생성, 실패 0 |
| 패밀리 | 원래 | 제외 | 평가 |
|---|---|---|---|
| Finding | 722 | 2 | 720 |
| Restore | 575 | 11 | 564 |
| Resume | 161 | 0 | 161 (실행 153) |
| Routine | 314 | 4 | 310 |
정답·이름·쿼리 프레임 문제는 라벨과 코드 수준에서 닫혔다. 실행 트랙은 순수 테스트로만 검증돼 소규모 시험 실행이 먼저 필요하다. 숨겨진 물체 Restore는 정책이 서랍을 못 여는 문제라 고친 뒤에도 낮을 것으로 본다.
방별 가구 목록(메타 프롬프트)의 도입과 형태, writer에 exo_camera_2 제공 여부, 애매한 가구 이름 6종과 경계 질의 8개.
실행 하네스 smoke run → 시뮬레이터 접촉 검증 → v2 전체 재실행(QA 4패밀리 × 6방법, 실행 2,840셀 + recalled). 전부 배치 작업.