2026-10-09 — Progress
Waypoint expert, 손가락 겹침 방지, wrist 카메라
Bricks | WorkBenchMark on Duplo BrickSim
TL;DR
- expert를 새로 작성: tier 3는 36% → 95%, tier 4는 16% → 87.5% (40 task 평가).
- 관통 성공 제거: 손가락이 놓인 브릭 안으로 12.6 mm 들어간 채 성공하던 것을 계획과 검사로 막았다.
- wrist 카메라 결정: RoboCasa 기본 eye_in_hand. 실제 RoboCasa 영상과 화면 구성이 거의 같다.
160/160
Tier 1
160/160
Tier 2
152/160
Tier 3
140/160
Tier 4
398/400
계획 가능 task
1 배경 / 목적
BrickSim의 단일 브릭 expert는 다단 조립에서 tier 3–4 성공률이 36% / 16%였고, 영상에서 손가락이 이미 놓인 브릭을 뚫고 들어가는 "성공"이 확인됐다. wrist 카메라도 그리퍼가 시야 밖이었다.
2 작업 내용
| 문제 | 원인 | 조치 |
|---|---|---|
| 이웃 브릭 위에 걸림, 브릭이 손에서 돌아감 | 옆면 틈 약 0.1 mm, 빠른 이동 | 수직 접근 waypoint, 브릭 오차 직접 추종, 1.5 mm 비켜 접근 |
| 손가락이 브릭 안으로 들어간 채 성공 | 겹치는 순서를 그대로 실행 | 겹침 금지 순서 탐색, 긴 방향 파지, 층간 순서, 겹침 검사 |
| 팔꿈치가 조립물을 깔고 앉음 | 7관절 팔의 자세 drift | null-space 자세 복귀 항 |
| 손목이 한계에 걸림 | 최단 회전이 한계 쪽으로 돎, base 회전분 미고려 | 부호 있는 회전각 제어, 손목 여유 기준 파지 선택 |
| 그리퍼가 안 열림 | 손가락 끝이 아래층 stud에 걸림, 완전 개방 대기 | 열면서 6 mm 상승, 6 mm 벌어지면 release |
3 결과
| 버전 (tier당 5 task) | Tier 1 | Tier 2 | Tier 3 | Tier 4 |
|---|---|---|---|---|
| upstream expert + 순차 드라이버 | 80/80 | 80/80 | 29/80 | 13/80 |
| waypoint expert (겹침 검사 포함) | 80/80 | 80/80 | 80/80 | 63/80 |
40 task 평가(tier당 10 task x 16 episode): tier 3 152/160, tier 4 140/160, 겹침 episode 3건(전부 tier 4). 100%가 아닌 task 5개 중 tier 4 task 7은 0%.
위: 실제 RoboCasa wrist_view. 아래: 우리 robocasa_exact 프리셋
위: 실제 DROID wrist 프레임. 아래: RoboLab 수치를 손가락 끝 기준으로 옮긴 프리셋
카메라 이식에서 틀렸던 것: 좌표를 반대편으로 넣음, 원본에 없는 D435 브래킷이 가림, Robotiq(168 mm)와 Franka 손(112 mm)의 길이 차이 미반영.
4 Takeaway
의미
tier 3까지는 expert로 demo를 만들 수 있다. 연결 판정만으로 성공을 세면 물리적으로 불가능한 성공이 섞이므로 겹침 검사를 metric에 포함해야 한다.
5 Next Steps
미해결
5개 task의 실패 원인, 손가락 상자 모델의 실측 검증, 손바닥·카메라 충돌 검사, 반투명 렌더 현상, Duplo 물리 파라미터.
다음 작업
400 task 전체 평가(진행 중) → task별 성공률 확정 → demo 수집.