BrickSim 환경 구축 + expert demo 수집

TL;DR

B200 클러스터에서 동작 확인: login·worker 모두 headless 실행, RTX 카메라 렌더링 정상.
scripted expert 성공률 87% (state 모드 300 episode, 편향 보정 시 87.0%).
RGB demo 545 episode / 12,395 frame 수집 (2.1 GB, 72분).
막힌 4가지 해결: 시스템 라이브러리 부재, worker의 S3 접근 불가, 멈춘 카메라 프레임, reset 직후 stale 프레임.

87%

Expert 성공률

545

RGB demo

12,395

Frames

21 step

성공 길이 중앙값

1 배경 / 목적

조사 결과 실행 가능한 코드는 BrickSim뿐이었다. LEGO 규격 그대로 방법론을 먼저 검증하기로 하고, B200에서 Isaac Sim 5.1이 도는지와 expert로 IL 데이터를 만들 수 있는지를 확인했다.

2 작업 내용

BrickSim(commit cbd5de3)을 설치하고, upstream expert CLI가 이미지 프레임만 저장하는 한계 때문에 episode 단위 수집기 scripts/collect_expert.py를 새로 작성했다. BrickSim 소스는 수정하지 않았다.

문제	원인	해결
`libvulkan.so.1` / `libGL.so.1` 없음	login·worker 이미지에 userland 라이브러리 부재	deb를 root 없이 받아 `syslibs/root`에 풀고 `LD_LIBRARY_PATH`에 추가
worker에서 USD file not found	worker pod은 Omniverse S3 접근 불가	자산 97 MB를 `assets/nucleus`에 미러, asset root 설정 변경
RGB 프레임에서 로봇·브릭이 안 움직임	Fabric off + headless kit의 `updateToUsd=false`	`--/physics/updateToUsd=true`
reset 직후 첫 프레임이 이전 장면	물리 step 전에 렌더	첫 step은 zero action, 기록 제외

3 결과

실행	Episodes	성공	Timeout	오연결	낙하	소요
state expert 평가 (job 178995)	300	263	35	2	0	1분 39초
RGB demo 수집 (job 179015)	600	545	50	3	2	1시간 12분

초기 브릭 y 위치별 expert 성공률 (state 300개)

y 구간 (m)	성공률	n
0.16–0.20	68%	69
0.20–0.24	94%	77
0.24–0.28	96%	73
0.28–0.32	91%	81

실패 원인: 브릭이 baseplate 가장자리(y=0.128) 근처일 때 그리퍼가 46–67 mm에서 멈춘다(약 16건, 손가락이 baseplate에 걸리는 것으로 추정). 나머지 약 15건은 파지 후 삽입 정렬 실패.

집계 편향: 병렬 env에서 완료순으로 세면 짧은 성공 episode가 과대표집된다. env당 처음 12개만 세면 87.0% (n=192), 완료순은 87.7%.

성공 episode의 hand / front / side 카메라 타임라인 (동기화 수정 후)

4 Takeaway

의미

조사 단계의 최대 위험이던 B200에서의 RTX 렌더링이 해소되어 시뮬 기반 실험이 가능해졌다. 다만 현재 task는 2x4 브릭 1개를 한 번 꽂는 약 2초짜리라서, 연구 동기인 다단 조립을 다루려면 env 확장이 필요하다.

5 Next Steps

미해결

expert 실패 13%가 demo 분포에서 빠진다. 카메라에서 브릭이 수 픽셀 크기이고 hand 카메라는 파지 중 브릭이 안 보인다.

다음 작업

NPZ → LeRobot 변환, Diffusion Policy baseline 학습, sim closed-loop 평가. 이후 WorkBenchMark YAML 기반 다단 조립 env.

BrickSim 환경 구축 + expert 평가 + RGB demo 수집