AssembleBench: pi0.5 BC 대조군과 Long-WAM CG-DAgger 파이프라인

TL;DR

pi0.5 r3(13/190)는 BC+3라운드 CG-DAgger라 BC 단독 Long-WAM(0/180)과 불공정 비교. BC 대조군 pi0.5-12k는 16mm 2/30, 12mm 0/30
저자 grasp gate만으로는 wave 0에서 개입 1/5(tick 529) → `PickTimeoutTakeover`(tick ≥150) 추가로 5/5 latch, 전문가 2/5 seat
DaggerRecorder → npz → Long-WAM v2.1 + loss_segments 변환(anchor 873→972 보정), 9670부터 round_pegs:dagger 1:1 fine-tune 경로 login smoke 검증

0/30, 0/30

Long-WAM 16/12mm

2/30, 0/30

BC pi0.5-12k 16/12mm

6/50, 6/60

pi0.5 r3 (BC+DAgger)

5/5

pick-timeout latch

Long-WAM(libero-init, round peg 시연 395개)은 AssembleBench에서 step 1000~9670 전부 0/180. 원인은 펙 위 공중에서 그리퍼를 닫는 것.
비교 대상 pi0.5 pi05-AssembleBench-cgdagger-r3(13/190)는 model card상 BC 위에 code-gated DAgger 3라운드(round1 grasp failure, round2 off-center, round3 삽입 중 놓침; 교정은 peg_round_8mm만)를 더한 것이고 pi05_droid_jointpos에서 시연 1355개(14 작업)로 full finetune했다.
BC(Long-WAM) vs BC+DAgger(pi0.5)는 불공정하다 → (1) BC만 한 pi05-AssembleBench-12k로 공정 비교 (2) Long-WAM에도 같은 CG-DAgger 적용.

기존 인프라: scripts/experts/rl/takeover.py ExpertTakeover — grasp gate(닫힘+후퇴+펙이 stand 위, 12 tick 지속), insert gate(진전 없음), tilt gate(30° 이상). latch되면 episode 끝까지 scripted expert가 action을 덮어씀. HUD wire는 expert 채널을 싣지 않아 sim 프로세스 안에서 직접 녹화 필요.
scripts/assemblebench/dagger_recorder.py: DaggerRecorder gym wrapper(ExpertTakeover 바깥). tick마다 front/wrist(320x180), state 8, eef_pos, policy_action, 적용 action, expert flag를 episode당 npz로 저장.
env.py: AB_DAGGER_DIR 설정 시 recorder 적용. eval_longwam.sh: DAGGER=both, DAGGER_STEPS(기본 600), SEED 추가.
scripts/assemblebench/dagger_takeover.py PickTimeoutTakeover: tick ≥ AB_PICK_TIMEOUT(=150)이고 펙이 아직 stand 위이면 regrasp로 인계.
convert_dagger_to_longwam.py: Long-WAM v2.1(round_pegs와 동일 schema) + meta/loss_segments.jsonl. anchor 조건: [t, t+33)이 모두 expert tick(HG-DAgger, policy 구간은 history로만 사용).
학습: configs/longwam/{data,task}/assemblebench_dagger.yaml(round_pegs + $DAGGER_DATASET_DIR, dataset_uniform 1:1, pretrained_norm_stats를 BC run으로 고정 — 미고정 시 joint min/q01이 최대 0.05 rad 이동), train_longwam_b200.sh에 TASK 변수·PYTHONPATH 추가.

설정	job	결과
저자 grasp gate만	197166	wave 0: 개입 1/5(tick 529). 3/5는 닫기 명령 없음, 최저 EE z 0.25~0.26 m vs 전문가 파지 0.20 m. wave 1: 4/5 latch(tick 203~225), 전문가 seat 3
+ pick-timeout 150	197231	wave 0: 5/5 tick 149에 latch, 전문가 seat 2/5 (T=424, 446)

recorder 버그: ExpertTakeover가 done step 안에서 latch를 지워 마지막 tick의 expert flag가 빠짐 → episode당 anchor 33개 손실. 이전 tick flag 승계로 수정, 기존 데이터는 converter에서 보정: 873 → 972 anchors.
login smoke(STEPS=5, INIT=step_009670.pt): loaded=1649, missing=0, dagger_smoke_ds 1609 frames/anchor 972, loss 0.08~0.6, norm stats BC와 동일.
1라운드 수집(DAGGER=both, PICK_TIMEOUT=150, 5 env × 6 wave, 600 tick): 8/12/16mm × seed 0/100 = job 197283, 197285, 197287, 197289, 197290, 197291 (seed 0~5 중복 제출 job을 seed 100 버전으로 교체). 기대치 180 ep × seat 40~60% → 교정 성공 ep 약 70~110.

pi0.5도 BC만으로는 Long-WAM과 비슷하다(2/30, 0/30 vs 0/30, 0/30). 처음 본 격차는 대부분 DAgger 때문이다.

저자 grasp gate는 "닫기 명령을 낸 뒤 실패"만 잡는다. Long-WAM은 5cm 위에서 맴돌며 아예 닫지 않는 경우가 많아(3/5) 시간 기반 pick-timeout gate가 필수였다.

학습 코드가 이미 LossSegmentRobotVideoDataset으로 "복구 구간에만 loss"를 지원하므로(one_leg handoff 때 구현) 새 학습 코드 없이 DAgger 1라운드를 돌릴 수 있다.

수집 결과 확인: latch 빈도, latch 이후 전문가 seat 비율, npz 정상 여부.
괜찮으면 16/12/8mm 수집 규모 확대 → dataset_uniform으로 round_pegs:dagger 1:1, 9670에서 이어 fine-tune → 재평가.
미해결: 전문가가 seat하지 못하는 latch ep(wave 0에서 3/5)는 라벨로 쓰지 못함 → 기본은 latch+성공 ep만 사용.
BC pi0.5(12k)로 갱신한 공정 비교를 AB 평가 표에 반영.