FurnitureBench

clvrai FurnitureBench의 시뮬레이터 FurnitureSim(Isaac Gym Preview 4 기반)을 이 B200 Slurm 클러스터에서 구동해 furniture assembly(one_leg 등) 실험을 할 수 있게 하는 것.

35 reports 4 weeks

260921 — 260927 6 reports · 8 tables 6

OpenArm 2.0 oracle one_leg screw 단계 디버깅 — v13→v19, 부분 회전 성공·조립 판정 실패

OpenArm 2.0 oracle 하네스의 one_leg screw(나사결합) 단계만 떼어 v13→v19 7회 반복 디버깅 — v16에서 실제 -50.5° 회전을 처음 달성했지만 손 개방 충돌로 릴리스 실패, v17 개방 수정 직후 축 기울기 재현성이 무너져(동일 seed인데 3°→16~19°) 회전이 -27.9°로 후퇴, v18 자세보정(19.6°→1.18°)은 3mm TCP 게이트에 0.114mm 차로 걸려 나사 시도조차 못함, v19 위치보정 재시도로 최종 job 151121이 실제 -49.147° 회전·+1.128mm 전진·릴리스·2초 안정 유지까지 전부 성공했지만 공식 조립 판정은 여전히 false(위치오차 5.147mm, 회전오차 51.804°) — 단일 파지로는 -55°(요청 -95°)에서 IK가 막혀 재파지 없는 완전 나사결합은 아직 불가능

native_icl 하네스 개선 — 연속성 검사 v1→v6과 제어·감시 옵션 (CPU 테스트 43→146)

job 단위 native_icl(1 job=1 tool)의 cross-job 복원 검사를 픽셀 깊이 비교(v1, stage 6 국소 23.1% 거부)에서 보정 RGB-D 관측면 거리(v6, 5 mm/전역 1.5%/국소 15% 유지)로 교체 — obs 313→314 최악 타일 픽셀 변화 51.4% vs 실제 표면 거리 최대 2.49 mm. 각도 적분·settle·ramp, 그립 폭·tag/depth 감시, 3-view 카메라 옵션을 추가하고 CPU 테스트 43→146개. 같은 계열 결함(3 mm 명령 상한이 높이 보상을 자름)이 stage 060과 230에서 재발

native_icl Trial 1 — drawer 조립 stage 006→144, 제어 12,580 step 끝에 give_up (scorer false)

native_icl(이 세션 모델이 매 stage 1 tool을 결정, 1 job=1 action) 첫 개발 분기가 stage 144(09-19 09:52)에서 give_up: 아래 서랍을 센서 전용으로 heading 0.023–0.034°·오프셋 오차 0.11–0.19 mm까지 정렬해 30 mm 진입(stage 072)했으나 위 서랍이 stage 090(≈40°)·115(≈32°)에서 낙하하고 stage 137–142의 접촉·이동 뒤 몸체가 옆으로 쓰러진 채(stage 143 관측) terminal scorer false. 제어 12,580 step, continuation 거부 23건, rewind 2회

Trial 1(give_up) 후속 fresh reset — 전략·카메라·감시 변경 후 재시도

native_icl Trial 2 — 아래 서랍 36 mm 삽입·손 이탈 후 유지, 위 서랍 파지는 stage 230까지 미해결

native_icl Trial 2(fresh reset, stage 145→230, 09-19 09:56–20:13): 하우징을 옮기지 않고 서랍만 옮기는 전략으로 knob 파지(그립 18.8 mm) 후 아래 서랍을 36.08 mm(20.78+15.30) 밀어 넣고, 손을 뗀 뒤 45 mm 들어 올려도 앞면이 1.42 mm 안쪽으로 이동(닫힌 형태 유지, 관측 불확실성 3 mm). 위 서랍은 옆벽 grip 5.06–5.36 mm로 들었으나 7.30 mm·≈13° 기울어 폐기, stage 230은 3 mm norm cap이 높이 보상을 잘라 EE 29.3 mm 처짐. 전체 조립 성공 평가는 아직 없음

OpenArm 2.0 양팔을 FurnitureSim one_leg 장면에 이식 — 97 step 관절 제어 smoke 14/14

FurnitureSim \1 장면에 OpenArm 양팔(18 DOF)을 이식: v1.0 이식 초기 2 run(import·scale 굽기)은 left_tracking 실패(13/14), link5/link7 wrist collision 필터 run은 14/14이나 finger 누락 INVALID → 재실행본 14/14(최대 target 오차 0.00907 rad, 16:58→17:07 사이 4 run). 공식 v2.0 URDF 변환 후에도 97 step 14/14 — EE 0.11778 m 이동, 최대 오차 0.00880 rad(0.50°), 그리퍼 개폐 독립 제어. 관절 제어만 검증, 파지·조립·Cartesian은 미검증

asset 이식(1단계) 후속 — 제어·파지·조립 gate

OpenArm 2.0 × FurnitureBench one_leg — oracle 하네스 양팔 조립 진단 (v8→v12b, 조립 성공 0/5)

OpenArm 2.0 양팔로 \1를 privileged-state oracle(모델 호출 0)로 진단: Cartesian 제어 최대 오차 0.037 mm, 오른팔 파지 3/3(lift 59.4 mm·carry ≈50 mm), 왼팔 press 지지 통과(최대 2.07 N, drift 0.8 mm). 양팔 조립 v8b→v12b 5회는 전부 공식 성공 false — 상대 위치 오차 16.68→6.46 mm까지 줄었으나 v12b는 \1 추종 오차 9.25 mm(허용 3 mm)에서 종료, 하위 held-out 포함 조건부 12 job 취소

260914 — 260920 16 reports · 14 tables 16

FurnitureBench — Current-session agent

policy_harness v8 — OSC 목표 전달 버그는 재현, 수정판은 검증에서 크래시

v8 OSC 목표 전달 게이트: 원본 컨트롤러는 버그 재현 성공(목표오차 0.070m, quat오차 0.044 확인)했지만, 수정판(synchronized bridge)은 자체 검증 assert에서 RuntimeError로 크래시 — 게이트 실패로 stool/drawer dev 평가는 아직 시작되지 못함.

policy_harness v7 stool — dev 부분 성공이 unseen heldout에는 0/10

policy_harness v7 stool: dev seed 2개(3101/3102)에서 2~3legs 부분 조립까지 보였던 정책을 라운드 예산 소진 후 동결·heldout 10개(9101-9110)에 평가한 결과 전체 성공 0/10, 동시일치 0/10 — dev 진전이 unseen seed에 전혀 일반화되지 않음.

demo_icl: privileged 정답 입력 금지 → AprilTag+RGB-D 센서 전용 파이프라인 착수

privileged 시뮬레이터 정답 입력 금지 결정으로 demo_icl v5(70% 성공 후속 개선) 즉시 중단, AprilTag+RGB-D 센서 전용 인식 파이프라인(scripts/demo_icl_sensor) 신규 착수 — 명목 태그 크기 PnP는 0/6 실패, depth-plane 대체 추정기로 6/6 pose 복구.

센서 전용 파이프라인 착수 이후, 어떤 harness 구조로 실제 정책을 만들지 결정하는 후속 조사

FurnitureBench demo_icl — GPT-Policy/ASPIRE/Harness VLA 코드 대조와 하네스 선정

privileged pose 금지 이후 센서 전용 demo_icl을 어떤 코드 구조로 만들지 GPT-Policy(신규, 24개 소스파일 커밋 고정)·Harness VLA·ASPIRE·ENPIRE 11개 소스 대조 후 \1 채택 결정, \1 모듈 신규 구현·테스트 36개 통과

하네스 선정 결정('매 스텝 실제 모델 호출 연결')의 실제 첫 실행

FurnitureBench demo_icl — native_icl 온라인 폐루프 첫 파지 시도 (stage 0-6)

demo_icl 트랙 최초로 이 세션(native_conversation_model)이 매 스텝 관측→결정→실행을 직접 수행하는 온라인 폐루프 시작 — drawer housing에 접근·정렬·하강 후 gripper close로 폭 65mm→3.37mm까지 닫았으나 grasp_verified는 전 스텝 false, stage 6(들어올림 검증)은 cross-job 물리 restore 검증 실패(continuation_rejected)로 아직 미실행

demo_icl Drawer — 단일 demo 조건화 정책, heldout 7/10 첫 성공

demo_icl drawer: 단일 human demo 참고 코드 정책이 v1/v2 0/20 → v3 17라운드 반복(0/1, round12부터 부분 조립 확보) → v4 dev 1/1 성공 + heldout 10개 중 7개(70%) 성공, 실행 오류 0건.

FurnitureBench 스크립트 정책 확장 조사 — 4종 FSM 구조 + desk 활성화 시도

lamp bulb·round_table leg는 one_leg와 동형 FSM(측면 파지→세우기→삽입→나사)이라 기하 파라미터만 바꾸면 이식 가능. desk는 \1 이식 후 첫 다리 안착(3.0°)까지 성공했지만 나사 접근에서 손목이 완전히 감겨(q6 3.2~3.75, q7 2.9=한계) 팔이 다리를 쳐내는 문제를 3차 시도(가드·되감기·APPROACH_GUARDS)까지 못 풀고 보류. stool/chair/drawer는 원본 스크립트가 아예 없어 신규 상태기계 필요, drawer는 \1 미정의로 즉시 크래시.

FurnitureBench 반복 평가

Stool 첫 완전 성공: v6 round01 개발1/2, 성공 영상 공개. Drawer 개선 평가 중. 유료 API 없음.

목표 전달 수정 후 별도 조건 평가

Stool / Drawer v9 · OSC 목표 전달 수정과 재평가

유료 API 없이 OSC 목표 전달 오류 진단·수정 후 stool/drawer 재평가. 성공 여부 검증 중.

목표 전달 수정 후 별도 조건 평가

Stool / Drawer v8 · OSC 목표 전달 수정과 재평가

유료 API 없이 OSC 목표 전달 오류 진단·수정 후 stool/drawer 재평가. 성공 여부 검증 중.

버전별 평가 영상과 반복 기록

Stool / Drawer policy harness v7 · 영상과 개선 반복

API 없는 추가 개선 루프. 손목 회전 한계와 삽입 정렬 수정·평가 중.

버전별 평가 영상과 반복 기록

Stool / Drawer policy harness v6 · 영상과 개선 반복

API 없는 추가 개선 루프. 손목 회전 한계와 삽입 정렬 수정·평가 중.

버전별 평가 영상과 반복 기록

Stool / Drawer policy harness v5 · 영상과 개선 반복

API 없는 추가 개선 루프. 손목 회전 한계와 삽입 정렬 수정·평가 중.

버전별 평가 영상과 반복 기록

Stool / Drawer policy harness v4 · 영상과 개선 반복

고정 정책 stool 0/10, drawer 0/10. 개발 전후·최종 영상 6개와 실패 구간.

LingBot-VA 부진 원인 진단 — 학습 궤적이 이상했나, 부족했나

LingBot-VA 부진은 '이상한 궤적'이 아니라 stock 데모 정책(≈0.5 상한)의 낮은 품질 + 344 ep를 291회 반복한 양 부족 + 128²/proprio 없음의 합. 두 모델 다 데모 프레임 73%인 삽입+나사 구간(phase 3)에서 실패

260907 — 260913 9 reports · 46 tables 9

GaP·Harness VLA·ENPIRE가 FurnitureBench 삽입 병목을 커버하는가

LingBot all_low 종료(one_leg 0.133) 후 GaP/Harness VLA/Show-Harness/ENPIRE/GPT-6 Astra가 우리 삽입 병목을 커버하는지 코드 대조로 검증. 1차 예측(\1)은 틀렸다 — scripted agent의 insert/screw가 재시도·힘 피드백·검증 0건인 완전 open-loop 코드임을 발견, 이게 성공률 0.37~0.53의 진짜 원인. 재분석: ENPIRE 0.5→0.9+, Harness VLA 0.45~0.55→0.6~0.8로 상향. 평가 하니스 버그도 발견 — round_table/cabinet을 기본 예산(1300/1500) 대신 1000 step으로 평가해 옴(77%/67%만 사용).

CaP-X × FurnitureBench 통합 및 Astra 평가

CaP-X(Code-as-Policy)에 FurnitureSim 통합, gpt-6-astra one_leg 평가 — 4차(누설 API+레시피 프롬프트) \1=0.100 → 실물-충실 v5(IK 관절 제어, 구멍 기하만, 물리 사실 프롬프트 ~20줄) \1=0.033 (p=0.61). 28/30이 에이전트 자체 assert로 중단(나사·재파지 중 다리 기울어짐). pi0.5 0.36 / LingBot 0.133 / scripted ~0.45 대비

v1~v4(누설 API) 평가의 후속 — API를 실물에서 얻을 수 있는 정보로 제한하고 원본 제어 경로로 재평가

CaP-X × FurnitureBench v5 — 실물-충실 API 재평가

CaP-X × FurnitureBench one_leg, 실물-충실(real-faithful) API로 재평가: pyroki IK→관절 제어, 구멍 기하+부품 크기만, 물리 사실 프롬프트 ~20줄. gpt-6-astra \1=0.033, 손 oracle 공식 경로 2/3. 28/30이 에이전트 자체 RuntimeError(나사·재파지 중 다리 넘어짐 16)로 중단

CaP-X(LLM) 트랙 종료 후 스크립트 정책 직접 개선으로 전환

스크립트 one_leg 정책 v2 — 0.47 → 0.983

LLM 없이 폐루프 스크립트 정책 v2로 FurnitureSim one_leg 성공률 stock 0.47 → v2c 0.97 (29/30), v2d 28/30, v2e 27/30, v2f 57/60, v2g 최종 59/60 = 0.983 (동결; FLIP 실험 23/30 폐기); 잔여는 22.7° 어트랙터 좌석과 축 이탈 파지, API 비용 $0

같은 작업의 영상·설명 중심 쇼케이스

스크립트 one_leg v2 — 영상으로 보는 방법과 결과

영상으로 보는 스크립트 one_leg 정책 v2: 원본 0.47 → v2g 0.983 (59/60), LLM·API 비용 0. 폐루프 삽입 + 손목 특이점 회피 + 나사산 방향 회전이 핵심. 다른 가구 이식 전망 포함

LingBot 실패 원인 | TODO: 리포트 제목

LingBot all_low 실패의 진짜 원인은 부정 전이가 아니라 액션 정규화 클리핑. \1의 clip(±1.5)와 4가구 pooled q01/q99 때문에 실행 가능한 손목 회전 천장이 rot1 0.284 / rot2 0.670인데 one_leg 데모는 0.965 / 1.773을 요구 → 3.4배 부족. 모델 예측 최대치가 이 천장에 정확히 붙어 있고(MAE rot1 0.020) pi0.5는 같은 분위수를 쓰되 클립이 없어 무사. 수정 = 분위수 q1/q99 유지(pi와 동일) + 클립 제거. 재학습 결과 one_leg 0/30 → 4/30 = 0.133, 클립본 누적 0/80 대비 p=0.0048, 단독 모델과 동등(p=1.0).

LingBot-VA B200 학습 커널 프로파일링 — FlexAttention vs flash-attn, MFU 7%

LingBot-VA 학습 attention 실측: \1 Triton 커널만 돌고 flash-attn은 설치돼 있으나 학습에 미사용 확인, 토큰당 0.18ms로 선형 스케일, MFU ≈7%(157 TFLOP/s), 1 GPU 메모리 예산은 최대 68k 토큰인데 실제 micro-step은 5–11k(10~15%)만 사용 → packing 필요성의 정량적 근거 확보

LingBot-VA packing | TODO: 리포트 제목

LingBot-VA 가변 길이 에피소드 packing 구현(bucket sampler + F 8배수 zero-pad + seq_id −1 마스크 + 유효 프레임 loss). 낭비 2.3%, distinct shape 19, packed vs single loss rel diff ≤3e-4. 8 GPU 실측 34 → ≈23 s/step(1.5×), 1 GPU 토큰당은 15%만 개선 → 이득은 FSDP 동기화 16→4회 감소. 부수 발견: resume마다 lr warmup 200 step이 0부터 재시작(e128 1732 step 중 600이 warmup) → 스케줄 이어가기 + 50 step re-warmup으로 수정

LingBot-VA all_low(4가구 통합) 학습 — 유효 batch 40 vs 128 비교

LingBot-VA를 4가구 통합 데이터(1,304ep)로 학습 — e40(4GPU, lr1e-5) 5000 step에서 4가구 모두 성공 0(phase 1.80~2.70). X-WAM 사례(유효batch 4→128=11%→61%) 근거로 e128(8GPU, lr3e-5) 변형 제출했으나 같은 샘플 수 구간(e40 2500=10만 vs e128 1000=12.8만)에서 phase 구분 안 됨(n=10, ±0.4). e128은 NCCL all-gather 600s timeout으로 크래시 → init timeout 60분 패치 후 재개. e40은 7500 step(30만 샘플)에서도 0/40, phase 2.70로 포화 → 사용자 결정으로 종료. e128(packing) 2000도 0/40, phase 2.72 → 유효 batch 128도 성공을 만들지 못함. 최종 3000 step: 0/60, one_leg 0/30(단독 0.157 대비 유의하게 나쁨, p=0.6%) → LingBot all_low 트랙 종료

260831 — 260906 4 reports · 15 tables 4

FurnitureSim one_leg 최종 비교: pi0.5 단독/통합 vs LingBot-VA

one_leg low 최종 비교: pi0.5 단독 30k 0.24 → 4가구 통합 b128(4 GPU, batch 128) 40k **0.36**, lamp 첫 완전 조립, round_table/cabinet 첫 쌍 18–30%. LingBot-VA 5000 step 0.157 (샘플 1/10, 추론 10배 느림). 유효 batch 4배가 결정적, 남은 병목은 삽입 정밀도·다부품 2번째 쌍

FurnitureSim B200 구동 가능성 점검 및 bring-up

FurnitureSim(Isaac Gym Preview 4)을 B200에서 구동: PhysX PTX JIT + conda glvnd + \1 패치로 one_leg scripted 16 step/s; worker calibration: scripted 성공률 low 0.45~0.53 / med 0.37~0.51, 성공 1개당 71~100 s (insert+screw timeout 병목)

LingBot-VA 트랙 후속 — FurnitureSim 평가 파이프라인 구축

LingBot-VA ↔ FurnitureSim 평가 파이프라인 구축

LingBot-VA(world-model) ↔ FurnitureSim closed-loop 평가 파이프라인 완성 — pi0.5와 다른 프로토콜(latent chunk 추론 + KV cache 갱신)을 LIBERO 클라이언트에서 이식. 로그인 스모크 40 step 24 s(0.6 s/step) 통과, 첫 평가 job 108991(one_leg 10ep) 제출

LingBot-VA 트랙 후속 — 학습 job 실패 원인 분석과 수정

LingBot-VA 학습: worker 컴파일러 부재 디버깅 및 해결

LingBot-VA 학습이 두 번 즉시 종료: 런처 \1 버그(108687) → worker에 C 컴파일러 없어 FlexAttention Triton JIT 실패(108903). conda gcc_linux-64/gxx_linux-64 + \1 env로 해결, 108915에서 학습 정상 진행(13.3 s/it, step 35 action_loss 0.13)

Auto-generated — python build_index.py — 2026-10-23 12:47