lingbot-va

LingBot-VA(Robbyant의 AR diffusion 기반 video-action world model)를 **RoboCasa 데이터로 post-training** 하는 것.

14 reports 3 weeks

260921 — 260927 1 report · 5 tables 1

RoboTwin 성공 판정 기준(zwcrit) 재평가 — stamp_seal·move_stapler_pad

같은 checkpoint(step32000)·seed 0에서 RoboTwin 성공 판정 기준만 Zero-WAM 버전(\1)으로 바꿔 재평가 — \1 4.0%→34.0%(원본 문구)·19.0%→47.0%(학습 스타일 문구), \1 1.0%→61.0%. 모델·문구는 그대로인데 판정 기준만으로 +28~60p가 움직여, unseen-7 태스크별 편차(-22.33p~+42.67p)의 상당 부분이 조작 능력이 아니라 \1 허용 오차 차이였다.

260907 — 260913 9 reports · 18 tables 9

Stamp_seal 저조 성능 원인 진단 — Instruction Wording Ablation

RoboTwin unseen-7 중 유독 낮았던 stamp_seal(4.0%)의 원인이 조작 실패가 아니라 학습 분포 밖 프롬프트 워딩임을 확인 — 학습 스타일 문구로 재구성해 재평가하니 4.0%→19.0%(+15p), paper baseline(3.67%) 대비 +15.33p.

FurnitureBench 가변 길이 에피소드 packing 구현

에피소드 latent 길이가 103~362 프레임으로 가변적이라 \1 강제였던 것을, \1 + \1 마스킹(attention·loss 양쪽)으로 GPU당 실배치 4까지 가능하게 구현 — \1이 effective batch 128을 유지하며 accum 16→4로 줄었지만 s/it는 오히려 24.3s(non-pack 4GPU 19.3s 대비)로 개선을 확인하지 못함.

Zero-WAM 43/7 split 조사 — RoboTwin cross-task 일반화 실험 설계

Zero-WAM의 RoboTwin 43/7 split을 코드·논문 단에서 확정. hold-out 7 task 이름 매핑 100% 성공, LingBot-VA baseline 앵커 17.45%, clean_50 latent가 HF에 이미 포함되어 데이터 준비 blocker 소멸

split 조사 → 학습 배선·제출

RoboTwin 43-seen post-training 셋업 및 학습 제출

LingBot-VA × RoboTwin 43 seen task 학습 제출 (job 112772, 8 GPU own, 32,000 step, 2.16 s/it). 데이터 2,150 episode가 논문 수치와 정확히 일치, hold-out 누수 0. \1이 sparse를 무시해 415 GB를 받은 낭비 기록 포함

학습 셋업/제출 카드의 후속 — 학습 완료 + 실제 평가 결과

RoboTwin Zero-WAM: 43-seen 학습 완료 + Unseen-7 평가 결과

LingBot-VA RoboTwin 43-seen 학습(job 112772) 32,000 step 완료 — 10h24m, latent_loss ~0.10 / action_loss ~0.001. Unseen-7 zero-shot 평가 5/7 완료(seed 0): 평균 32.2%로 완료 태스크 기준 paper baseline(18.57%) 대비 +13.6p, 단 \1 +42.67p vs \1 -22.33p로 task별 편차 극심.

260909 카드는 5/7 완료 시점 잠정 결과 — 잔여 2개 태스크 완료 + 7/7 최종 집계로 delta 수정

RoboTwin Unseen-7 평가 7/7 완료 — 최종 delta +10.4p로 하향 수정

Unseen-7 zero-shot 평가 잔여 2개 태스크(\1, \1)가 완료되어 7/7 최종 집계 완료. 평균 27.86% vs paper baseline 17.45%, delta +10.41p — 5/7 잠정치였던 +13.63p보다 낮게 수정됨. \1는 0/100 완전 실패(paper도 0%)로 전 태스크 중 유일하게 학습·baseline 모두 붕괴, \1는 34.0%(paper 29.33%, +4.67p)로 먼저 끝난 5개 평균 개선폭(+13.6p)보다 훨씬 작아 전체 delta를 끌어내렸다. 두 태스크 모두 eval에 16.5~18.6시간 소요(먼저 끝난 5개는 4.5~6.4시간) — 결과 수집 순서 자체가 난이도와 상관돼 있었다는 방법론적 함의.

멀티 GPU 학습 재개(resume) 안정성 버그 2건 수정

\1 QOS preemption이 잦은 FurnitureBench 8-GPU 학습에서 resume 버그 2건 발견·수정 — (1) \1이 optimizer/step 상태 없이 weight만 복원해 requeue마다 step이 0으로 리셋되던 것을 checkpoint 디렉토리명에서 역산하도록 수정, (2) 8-rank FSDP all-gather가 NCCL 기본 10분 timeout을 넘겨 job 111859가 조기 종료되던 것을 60분으로 연장.

Part 1의 Next Steps에서 예고된 optimizer/LR 상태 미저장 리스크의 후속 수정

Resume 시 LR 스케줄 재웜업 버그 수정 — Part 2

Part 1(260907)에서 checkpoint step 카운터 resume은 고쳤지만 LR 스케줄 자체는 매 requeue마다 \1이 새로 생성돼 처음부터 재시작 — e128 런이 step 750/1000/1500에서 200-step 재웜업을 3회 반복한 것을 코드 주석으로 확인, \1를 checkpoint step으로 offset하고 \1의 짧은 재웜업만 남기도록 수정.

LingBot-VA FurnitureBench 학습 config 통합

LingBot-VA에 FurnitureBench 학습 config 7종 신규 추가 — \1(단일 가구) → \1(4종 가구 합본) → eff-batch-128 레시피 순으로 확장. \1에 7개 키 등록, 실제로 8-GPU까지 학습 잡을 돌리는 데 사용 중.

260810 — 260816 4 reports · 20 tables 4

WAM 계열 CFG 처리 방식 전수 조사

WAM 계열 7개 중 action에 CFG를 거는 건 \1(RoboLab 3.0)와 \1(RoboLab 2.0) 둘뿐; lingbot-va·dreamzero는 video만 5.0, cosmos-policy·ImageWAM·FastWAM은 CFG가 코드상 무력화되어 있다.

RoboCasa → LingBot-VA 학습 적합성 분석

RoboCasa human demo는 LingBot-VA로 학습 가능 — 128×128 / 10fps / 7-dim delta EEF가 \1와 그대로 겹친다. 단 blocker 5개: 디스크에 410/1382 에피만 존재(silent index 오정렬 위험), \1 부재, \1 누락, action 컬럼명·차원 불일치, \1 재계산.

적합성 조사 후속 — 데이터 전수 조사 및 값 규격 확정

RoboCasa 데이터 규격 확정

보유 RoboCasa 데이터 5곳 전수 조사 + action/state 값 의미 확정. action 0:6은 base frame 기준 delta(×0.05m/×0.5rad), dim6 gripper, 7:11 base+torso, 11 control_mode. \1의 \1은 오기 — 실제 20Hz. 주 데이터셋을 X-WAM-RoboCasa로 전환 권장.

규격 확정 후속 — 실제 값 분포 및 표현 체계 정량 분석

RoboCasa 액션 값·표현 정량 분석

RoboCasa 액션 값 전수 실측(34만 프레임). 델타는 base frame 기준 정규화 목표 오프셋(×0.05m/×0.5rad)이고 실현율 0.22. Δpos는 21~34%가 정확히 0, 2~5%가 ±1 포화된 bang-bang 신호. LIBERO \1을 그대로 쓰면 Δrot x의 8.7%가 clip된다. Option A/B용 \1 실측값과 relative quat double-cover 위험(w<0 11.4%) 포함.

Auto-generated — python build_index.py — 2026-10-23 12:47