Index
2026-09-24 — Plan

온라인 VLM Eval(routine·resume) 토탈 재실행 — 빠지는 칸 없이

scene_bench | 실험 2(계획 = 읽기 답) | 게이트 v3 · 칸 목록 확정 · 예약 제출

TL;DR

100/100
routine 편 통과
161/161
resume 컷 통과
375
재실행 칸
≈$68
예상 API

1 배경/목적

사용자 요구: "재현할 수 없는게 있으면 안되는데? 그거 다 굴러떨어지지 않게 만들던가 해야지", "빠지는거 없이 토탈로 해야돼".

표에서 빠지거나 오염된 칸 두 부류
  • ① 옛 씬 칸: 주입 빨래통이 있는 편에서 목적지가 통이 아닌 칸. 옛 본 런은 통이 집 밖 공중(파킹 자리)에 떠 있는 씬에서 돌았다.
  • ② 게이트 제외 칸: 옛 게이트(안착 5 cm)에서 빠진 편·컷.
    • routine 5편: 칼 낙하 4 · 빌드 실패 1
    • resume 18질의: 달걀·감자 이동 14컷 · 빌드 실패 2편

2 작업 내용

게이트 진화

판움직임 허용 규칙비고
v11 s 안착 ≤5 cm통이 파킹 자리 — 통 안 물체는 공중
v2 (0f6a8e7)1 cm 넘게 움직이면 통 안에서만 허용(G2x) + 과제 상태 보존(G2s) + 통 방 안(G7)통 복원 스냅샷
v3 (이번)5 cm 넘게 움직여도 통 안이거나 같은 가구 위면 허용(G2y — 접촉 받침 가구 불변)v2 ⊂ v3

왜 G2y 인가 — 실패 사례 원문

train_4355 cut_04 (resume 61871a3e): 조리대 위(통 밖) 감자 t1a4_Potato_9 가 옆으로 6.6 cm 굴렀다(dz +0.2 cm). 과제 상태는 T1 4→4 그대로였다.
같은 편을 여러 번 검증하면 굴림 거리가 1.4 / 3.4 / 6.6 / 0.5 / 0.0 cm 로 실행마다 다르다. 거리 게이트는 운에 따라 편 전체를 빼 버린다.

받침 판정(support_pre_settle)은 장면과 맞았다.

물체가 떨어지면 받침이 바닥 world 로 바뀌므로 잡힌다.

최종 게이트 한 파일

scripts/build_final_scene_gate.py → tmp/online_final_gate/{routine,resume}.json 우선순위: v3 > v2 > fixcheck(제외 편 수정 스냅샷 재검증) > v1(옛 JSON 의 pass 는 1 cm 라 5 cm 로 재판정)

제출(20:45Z)

런칸스냅샷키잡
routine rtfull_s0–6244src_r3짝수 샤드 q3 · 홀수 샤드 기본155789 · 155792 · 155794–155798
resume rsfull_6187_s0–292src_s6q3155787 · 155791 · 155793
resume rsfull_fd85_s0–139src_s6q3155788 · 155790

전부 own QOS, --begin=2026-09-25T15:05:00(KST 9/26 00:05) 예약이다.

KST 9/25 에는 default 키가 ≈$80, q3 가 ≈$84 로 예상됐다. resume 131칸만 더해도 $100 하드 한도를 넘어 다른 세션 샤드까지 함께 죽기 때문에 예약으로 미뤘다.

3 결과

가족기대 칸옛 행 유지통 칸 재실행토탈 재실행누락/초과
routine7263611212440 / 0
resume4221591321310 / 0
v2 전수 검증: 통 편 101편 중 100편 통과. 불통 1편(4355)은 v3 재검증에서 통과했다.
통 칸 routine 재실행: 원격 121/121 완주·병합(22파일 덧붙이기만 확인). 성공 13/121(.107), GC .117, $26.50(옛 0/121).

4 Takeaway

재실행이 끝나면 routine 100편 전부(726칸)와 resume 161질의 전부(422칸)가 고친 씬에서 측정된다. "재현 불가라 뺀 칸"은 0이 된다.

씬 재구성 검증은 이동 거리가 아니라 받침 가구와 과제 상태로 판정해야 한다. 구름은 확률적이라, 거리로 판정하면 칸 집합이 실행마다 바뀐다.

5 Next Steps

남은 일

  • 재실행 완주(KST 9/26 오후 예상) 후 집계. FULL_RERUN 이 목록 칸의 옛 행을 대체한다.
  • 최종 보관 final_results/online_plan_v2_260923 · PROVENANCE · 논문 표 갱신.
  • own 8장 중 4장은 KST 02:45까지 Online_GT_Eval tmrep 이 쓴다. 키 한도가 늘면 scontrol update StartTime=now 로 당길 수 있다.