AssembleBench / one_leg 롤아웃 영상 리포트

1 배경/목적

self-improvement 실험(실패 이력을 보고 다음 시도 성공률을 올리기)은 기준 성공률 p가 0.2~0.6이어야 luck baseline 1-(1-p)^k 대비 개선을 잴 수 있다. 숫자만으로는 실패가 어떤 종류인지(못 잡음 / 떨어뜨림 / 정렬 실패) 알 수 없어서, 평가를 녹화 켜고 다시 돌려 에피소드별 영상을 모았다.

녹화 방법: AssembleBench는 hud의 TraceRecorder를 subclass로 바꿔 끼워(scripts/assemblebench/ab_video.py) 2 tick마다 front|wrist 프레임을 저장하고, 채점 후 성공 여부·reward를 파일명에 붙였다(8 fps, 실제 15 Hz 대비 약 0.9배속). FurnitureSim은 기존 --record 출력(mpeg4)을 브라우저 재생용 h264, 2배속으로 다시 인코딩했다.

2 결과 수치

AssembleBench 원형 펙: pi0.5 hud-evals/pi05-AssembleBench-cgdagger-r3

reward는 성공 시 1.00, 실패 시 0.00으로만 나왔다(녹화 run 60개 전부). 그래서 mean reward는 성공률과 같다.

Long-WAM AssembleBench (5 env × 6 wave, replan 8)

시연 데이터는 약 78 step째 그리퍼를 닫고 끝까지 유지해 닫힘 비율이 약 0.72다(에피소드 길이 약 280 step). Long-WAM은 롤아웃의 상당수에서 거의 닫지 않고(최대값 0.5 미만), 일부 롤아웃만 0.7 근처로 시연과 비슷하게 닫는다.

step 9670, 12mm wave 1 #1. 프레임 30~102(2 tick 간격 저장), 각 칸 왼쪽 front / 오른쪽 wrist. 손목 카메라에서 손가락이 닫힐 때 펙은 아직 화면 아래쪽 멀리 있다 → 공중에서 닫음.

one_leg insertion (FurnitureSim, replan 10)

3 AssembleBench 영상 (150개)

왼쪽이 front 카메라, 오른쪽이 wrist 카메라. 성공은 초록 테두리로 맨 앞에 정렬했다. 마우스를 올리면 재생, 클릭하면 크게 본다.

4 one_leg 영상: 같은 seed, 세 policy 나란히 (30개)

행 = seed, 열 = policy. 초록 테두리 = 조립까지 완료, 주황 = 꽂혔지만 조립 실패, 테두리 없음 = 실패. lateral_min은 에피소드 중 다리 끝과 구멍의 최소 수평거리로, 클수록 구멍 근처에도 못 간 것이다. 2배속.

5 Takeaway

6 Next

• Long-WAM AB grasp 실패 진단: (1) 학습 데이터 프레임을 넣어 open-loop로 예측 관절값과 정답 비교 → 오프라인에서도 하강이 부족한지, (2) replan 8 → 4/16 비교, (3) 펙 높이 근처 시연 구간 가중치.
• pi0.5 실패 유형을 영상으로 정량 분류(못 잡음 / 운반 중 떨어뜨림 / 구멍 위 정렬 실패) → self-improvement에서 이력이 도움될 실패 유형인지 판단.
• 녹화 run과 기존 run 성공률 차이: seed 0~9 × 3 녹화로 다시 재서 녹화 영향 여부 확인.