FurnitureBench · 반복 평가

v9 재실행 제출

v8 사전 검증 실패로 멈춘 작업을 재개했습니다. 제어기와 검증기의 오차 허용 기준 불일치를 수정하고 목표 파라미터 전달은 엄격히 확인합니다. 검증 통과 후 stool 130080 · drawer 130081 평가가 시작됩니다. extra만 사용 · API 없음 · 성공 미확인.

v9 실행 보고서
v8 진행: OSC 목표 전달 문제 수정

CPU 재현에서 새 목표가 이전 값으로 덮어써지는 경로를 확인했습니다. 실제 시뮬레이터 검증 후 동일 정책으로 stool/drawer를 재평가합니다. 유료 API 없음 · extra만 사용 · v8 조립 성공은 아직 미확인.

v8 진단 및 재평가 보고서

현재 세션이 코드 수정 → sbatch 평가 → 영상·trace 분석을 반복합니다. 별도 LLM API 호출은 없습니다.

v4 · 완료된 기준 결과

stool 0/10 · drawer 0/10 · 실행 오류 0

영상 6개와 동작 구간 보기 →

개발 2회 + 고정 정책 검증. 정확한 부품 pose와 조립 목표를 제공한 조건.

v5 · 3500 step 개발 기록

stool: round_03에서 seed별 다리 2/3개, 1/3개 조립. 전체 task는 아직 0/2.
drawer: 전체 0/2. 정렬·부분 삽입은 진전했지만 조립 성공 없음.

개발 seed 3101, 3102 · 3500 step · task별 후보 5개 평가 후 v6로 이어짐.
v5에서는 최종 검증을 실행하지 않았습니다.

최신 평가 영상 →

실행이 끝날 때마다 이 결과 페이지를 갱신합니다. 성공은 환경의 원래 판정으로만 집계합니다.

v6 · 5000 step 개발 기록

stool: round01 개발 1/2 완전 성공 — seed3101, 4157step, 종료 현재 일치3/3.
drawer: 성공 없음. 아래 v7에서 이어서 개선 중.

성공 판정·물리 동일. 개발 seed 3101·3102, 미관측 최종 검증 9101–9110.
round00: stool 0/2(부분 조립 2개·1개), drawer 0/2.
2026-09-15 round02: 두 task 모두0/2로 퇴보해 기각.
round03은 선점 종료로 정상 완료 순위에서 제외.
v6 종료 후 v7로 이어졌습니다. 후속 정상 완료 후보에서 전체 성공은 늘지 않았고, 성공 후보 round01은 보존했습니다.
개발에서 확인한 첫 성공이며, 별도 seed 일반화·장시간 손을 놓은 뒤 안정성은 아직 미검증.

현재 반복 평가 →

v7 · extra 선점 재개와 개선 평가

완료한 seed를 검증해 보존하고 미완료 seed부터 재개하는 별도 평가기입니다. 성공 판정·물리 동일, 유료 API 없음.

Stool round00: 개발 공식 성공 1/2. 성공 episode 종료 시 현재 일치 2/3이므로 안정적인 완성으로 부르지 않습니다. Round01은 첫 seed 실패 후 둘째 seed 평가 중 선점되었고, 반복되는 손목 한계를 근거로 조기 기각했습니다. Round02는 공식1/2, 성공 episode는4039step·종료 현재3/3이었습니다. Round03은 조임 회전 폭과 누르는 양을 줄인 후속 후보입니다.
Drawer round00: 0/2. 삽입 입구에서 옆 장애물 접촉을 확인했고, 작업 공간을 확보하는 상자 밀기 동작도 하강 중 접촉으로 실패했습니다. Round01은 하강은 가능했지만 밀기에 실패해0/2입니다. Round02는 먼저 수직 상승 후 실제 옆면을 기준으로 압력을 조절하는 후보입니다.

현재 평가 기록 →

정확한 simulator pose·조립 목표·메시·로봇 URDF를 사용하는 privileged 조건입니다. 최종 검증 seed 9101–9110은 아직 실행하지 않았습니다. 단일 개발 성공을 일반화된 성공률로 해석하지 않습니다.

최근 후보의 저장된 결과

stool heldout: 전체 seed 관측 완료, 완료 episode 10/10 · 공식 성공 0 · 종료 현재 전부 일치 0.

drawer 05: 전체 seed 관측 완료, 완료 episode 2/2 · 공식 성공 0 · 종료 현재 전부 일치 0.

stool 고정 정책의 미사용 seed 검증: 공식 성공 0/10, 종료 현재 전부 일치 0/10.

Stool round01은 첫 seed 실패 후 둘째 seed 진행 중 선점되었고, 대기 중 재개를 취소해 조기 기각했습니다. 완료된 0/2 평가로 집계하지 않습니다. 아래 숫자는 저장된 관측이며 최종 후보 순위는 스케줄러 상태와 provenance 확인 후 결정합니다. 정확한 부품 pose, 조립 목표, 메시와 로봇 URDF를 사용한 privileged 조건입니다. 유료 API 없음, extra QOS. 이 후처리는 평가 검증·선점 재개·통과한 정책의 고정 검증·영상/HTML 갱신을 수행하지만 새 모델 호출로 정책을 생성하지 않습니다. 개발 실패 조건이 맞으면 native 세션에서 미리 작성·해시 고정한 조임60/30도 또는 drawer 접근 후보를 선택합니다. 준비 후보가 없으면 수정 요청을 남기고 멈춥니다.