RoboTTA AssembleBench B200 구동과 expert sweep

TL;DR

B200에서 돈다. 공식 Isaac Sim 6 이미지는 워커 컨테이너로 못 써서, /isaac-sim(18 GB)을 NAS로 복사하고 isaac-lab:2.2.0 컨테이너를 드라이버/Vulkan 운반용으로 썼다. front/wrist 카메라 렌더 정상.
scripted expert sweep (14개 과제, 각 32 에피소드): 원형 peg 24~31, 기어 23~32, nut_M12 31, nut_M16 32. 사각 peg는 0~2, nut_M8은 5.
사각 peg 실패는 카메라 설정 탓이 아니다. 카메라를 켠 기본 조건에서도 8 mm 0/16, 16 mm 0/16. peg가 구멍 위 z 약 25 mm에서 align 단계에 머문 채 시간 초과된다. 원인은 미확인.
아직 안 한 것: 공개 pi0.5 체크포인트 평가(HUD env 서버 + py3.12 agent 환경 필요), 사각 peg와 nut_M8 expert 실패 원인 분석.

14 / 14

B200에서 실행된 과제

expert 23/32 이상 과제

expert 5/32 이하 과제

약 335

원형 peg 안착 step

1 배경 / 목적

연구 목표는 Long-WAM이 자기 시도 영상 히스토리만으로 접촉 과제의 조건부 성공률을 올리는지 보는 것이다. FurnitureBench one_leg 삽입에서는 pi0.5 실패가 초기 배치에 묶여 있지 않아(카이제곱 p 약 0.19) 히스토리로 기억할 인스턴스 고유 정보가 부족했다. AssembleBench는 peg, 기어, 너트 삽입 14개 과제와 privileged scripted expert를 제공하므로, 두 번째 테스트베드이자 데이터 엔진 후보로 B200에서 도는지와 expert가 얼마나 넣는지를 확인했다.

2 작업 내용

B200에서 띄우기

NGC isaac-sim:6.0.0-dev2를 --container=로 주면 pod가 바로 죽는다(190847, 70분간 CONFIGURING). 이미지 기본 사용자가 uid 1234이고 entrypoint가 고정인 것이 원인으로 추정된다(pod 로그는 못 봤다).
우회: 로그인 DinD에서 docker create + docker cp로 /isaac-sim을 NAS(assemble-bench/.isaac-sim-6.0.0-dev2, VERSION 6.0.0-rc.22, python 3.12)로 복사. 워커는 nvcr.io/nvidia/isaac-lab:2.2.0 컨테이너로 띄우고 NAS의 python.sh를 쓴다.
설치(scripts/assemblebench/install.sh, 로그인에서 1회): 공식 Dockerfile 순서대로 Kit site-packages에 Isaac Lab, Arena, assemble_bench, hud를 넣었다. user-site 설치는 Kit 내장 websockets 12에 가려져 websockets.asyncio import가 실패했다(191195).
Arena 기본 출력 경로 /eval/output은 워커에 없어 --output_base_dir로 프로젝트 경로를 줬다(191220 실패 후 수정).

실행한 것

스크립트	내용	job
`smoke.sh`	zero-action 1 에피소드 + expert 4 env	191249
`expert_sweep.sh`	14개 과제, 16 env x 2 wave, 카메라 끔	191255, 191332
`expert_sweep.sh` (`CAMERAS=1`)	사각 peg 8 / 16 mm, 8 env x 2 wave, 카메라 켬	191354
`record_expert.sh` + `make_expert_video.py`	과제별 expert 4 env, env 0의 front/wrist를 2 step마다 저장해 mp4로 인코딩	191686~191690

sbm "bash scripts/assemblebench/expert_sweep.sh" --gres=gpu:1 -c 8 --mem 200GB --qos=extra --time 3:00:00 -J ab_expert --container=nvcr.io/nvidia/isaac-lab:2.2.0

3 결과

expert 안착률 (16 env x 2 wave, 카메라 끔)

과제군	과제	wave 0	wave 1	합계 / 32
원형 peg	4 mm	16	15	31
	8 mm	14	12	26
	12 mm	12	12	24
	16 mm	16	14	30
사각 peg	4 mm	0	2	2
	8 mm	0	0	0
	12 mm	0	1	1
	16 mm	0	1	1
기어	small	16	16	32
	medium	14	14	28
	large	13	10	23
너트	M8	2	3	5
	M12	15	16	31
	M16	16	16	32

사각 peg를 카메라를 켠 기본 조건으로 다시 돌려도(191354) 8 mm 0/16, 16 mm 0/16이었다.

expert 영상: 잘 되는 과제

왼쪽이 front 카메라, 오른쪽이 wrist 카메라(각 640x360). env 0만 찍었고 2 step마다 한 프레임, 15 fps 재생이다. 마지막 몇 프레임은 에피소드 종료 후 자동 리셋된 장면이다.

peg_round_8mm (191686). 이 실행은 4 env 중 4개 안착, 335 step에 종료.

gear_medium (191687). 4 env 중 4개 안착, 337 step에 종료.

nut_M16 (191688). 4 env 중 3개 안착, 1개는 thread_1 단계에서 실패. 360 step에 종료.

expert 영상: 못 넣는 과제

peg_square_8mm (191689). 4 env 모두 실패. peg를 구멍 위로 옮긴 뒤 align 단계에서 599 step 시간 초과까지 머문다. 로그상 peg z 약 25 mm에 멈춰 있다.

nut_M8 (191690). 4 env 모두 thread_2 단계에서 실패, 416 step에 종료.

사각 peg는 peg.py 주석상 여유가 약 0.1 mm이고 yaw가 약 1.5° 넘게 틀어지면 걸리며, 구멍 yaw가 에피소드마다 흔들린다. 이 환경에서 expert가 거의 못 넣는 원인은 아직 확인하지 못했다. 저자 쪽 수치와 직접 비교하지 않았으므로 환경 차이인지 expert 자체의 한계인지도 모른다.

렌더

README는 A100/H100에서 렌더가 안 된다고 적었지만 B200에서는 tiled camera가 정상으로 나왔다. zero-action 1 에피소드는 122초 걸렸다(191249, 초기 로딩 포함).

job 191249, peg_round_8mm expert, step 300의 front / wrist 카메라.

4 Takeaway

원형 peg, 기어, nut_M12, nut_M16은 expert가 72~100% 넣는다. 이 9개 과제는 시연 데이터 생성과 "정답 시도" 생성에 바로 쓸 수 있다.

사각 peg 4개와 nut_M8은 expert가 16% 이하다. 데이터 엔진으로 쓰려면 expert부터 고쳐야 한다.

사각 peg는 구멍 yaw라는 숨은 변수가 과제에 원래 들어 있어서, 히스토리로 인스턴스 고유 정보를 기억해야 하는 과제 후보로는 가장 자연스럽다. 다만 지금은 expert가 못 풀기 때문에 당장 쓸 수 있는 건 원형 peg에 숨은 오프셋을 넣는 쪽이다. 이건 내 판단이고 아직 실험으로 확인한 건 아니다.

5 Next Steps

사각 peg expert 실패 원인: align 단계의 yaw 서보가 수렴하는지, peg가 구멍 모서리에 걸리는지 로그와 영상으로 확인.
nut_M8 thread_2 실패 원인 확인.
공개 pi0.5 체크포인트 평가 경로 구축: HUD env 서버 + py3.12 agent 환경(lerobot 0.6.0).
원형 peg에 숨은 변수(grasp 오프셋 또는 구멍 위치 편향, --sweep_aim)를 넣은 시도 반복 구조 설계.

AssembleBench: B200 구동과 expert sweep