TL;DR
- 문제 설정은 같다: 가중치 고정, 자기 히스토리로 재시도마다 성공률 상승. AD를 VLA로 옮겼다.
- 방법: frozen π0.5 VLM KV cache에 Transformer-XL 메모리가 만든 zero-init low-rank 잔차를 더하고 frozen action expert로 생성. 히스토리에 action, reward, done 포함.
- 약점: 학습 히스토리가 다른 인스턴스(PPO 체크포인트 진행, HITL stage 독립 샘플)라 "trial 뒤쪽일수록 좋은 정책 흉내"로 설명된다. 운 기준선이나 shuffle 대조가 없고, 실물 결과는 모두 p>0.2.
- 우리 차별점: same-instance 숨은 변수 추론, reward 없는 영상, 접촉 삽입, 조건부 SR. Scoop 위험은 중간(큰 프레이밍은 선점됨).
63.4%
RoboTwin 전체 (π0.5 50.9)
1 배경 / 목적
VLRLA는 우리 Goal("Long-WAM이 자기 시도 영상만 보고 재시도할수록 성공")과 같은 문제를 다룬다. 세팅 차이, scoop 위험, 가져올 아이디어, 피해야 할 함정을 정리했다.
2 논문 세팅
모델
| VLRLA-simp | VLRLA-bridge |
|---|
| 입력 | frozen VLM prefix embedding | frozen π0.5 KV cache |
| 학습 모듈 | Transformer-XL 메모리 + MLP head | 같은 Transformer → KV 잔차 Δz (rank 64, zero-init) |
| action | 결정론, MSE | frozen π0.5 expert, flow matching |
| 크기 | 6층 / 512 hidden / 8 head, segment 6 transition, 2 에피소드마다 detach |
학습 히스토리 3가지
| 방식 | 내용 | 인스턴스 |
|---|
| Simulation RL | RLinf PPO 25 iter, 256 env × 4 round씩 저장 (RoboTwin) | 매 라운드 DR, 다름 |
| HITL curriculum | stage 0/⅓/⅔/3⁄3 사람 교정, 성공 35→56→81→93%, 391 ep | stage마다 독립 샘플 |
| Hindsight relabel | 접시 색이 숨은 변수, reward로만 드러남, counterfactual pair | 숨은 변수 공유 |
3 결과와 검정
| π0.5 | GRPO | RoboTTT | VLRLA-bridge |
|---|
| Seen 평균 | 48.6 | 59.2 | 57.8 | 66.2 |
| Unseen 평균 | 53.3 | 60.8 | 58.6 | 60.6 |
| 전체 | 50.9 | 60.0 | 58.2 | 63.4 |
| 과일 (n=15) | π0.5 | VLRLA1 | VLRLA4 | Fisher p (π0.5 vs 4) |
|---|
| 사과 | 46.7 | 40.0 | 60.0 | 0.72 |
| 스타프루트 | 40.0 | 26.7 | 66.7 | 0.27 |
| 포도 | 53.3 | 60.0 | 60.0 | 1.00 |
| 합계 45 | 21/45 | | 28/45 | 0.20 |
VLRLA1 < π0.5: stage 0(base 실패 65%)까지 loss를 걸어 1회차에 base의 실패를 재현하도록 학습된 것으로 보인다. 우리가 시도 0 loss를 빼기로 한 결정을 지지하는 반례.
대조군 부재: "history 0으로 지움"(성공률 ≈0)은 분포 밖 입력일 뿐 운 기준선이 아니다. shuffle, 위치만 보존한 대조, 무기억 재시도가 없다. history를 다른 초기 상태 rollout에 이식해도 성능이 오른다(0.55→0.7). 인스턴스 추론이 아니라 과제 수준 prior라는 증거다.
4 Takeaway: 우리와의 차이
| 축 | VLRLA | RoboTTA |
|---|
| 피드백 | reward + done 토큰 | reward 없음, 영상으로 실패 관측 |
| 히스토리 | VLM feature + 과거 action + reward | clean video latent (action 없음) |
| 모델 | frozen VLA + adapter | Long-WAM 전체 파인튜닝 |
| 시도 간 관계 | 다른 인스턴스 | 같은 인스턴스, 숨은 변수 고정 |
| 개선 원천 | 정책 품질 진행 | 숨은 변수 믿음 갱신 |
| 과제 | RoboTwin pick-place, 과일 | 삽입 (one_leg, AssembleBench) |
| loss | 모든 에피소드 | 시도 0 제외, 개선된 시도만 |
| 지표 | 에피소드별 SR | 조건부 SR + 운 기준선 |
Scoop 위험 중간. "VLA에 in-context RL로 배포 시 적응"이라는 큰 프레이밍은 선점됐다. 하지만 같은 인스턴스, 숨은 변수, reward 없는 영상, 접촉 과제는 비어 있다. 가장 가까운 실험은 접시 색 과제(이산 2값, reward로만 드러남) 하나다.
"reward 없으면 약하다"(VLRLA > RoboTTT)는 리뷰어 공격 포인트가 된다. 성공/실패 1비트 토큰 ablation을 같이 보고하는 것이 안전하다.
WAM은 우리 쪽이 유리. FastWAM을 최종 hidden 120 토큰 encoder로만 써서 가장 낮게 나왔고, 저자도 공간 정보 손실을 원인으로 꼽았다. WAM의 영상 컨텍스트를 그대로 쓰는 우리 방식이 이 한계를 직접 겨냥한다.
5 Next Steps
평가 추가: (a) 다른 인스턴스 history 이식. 우리 가설이 맞으면 효과가 없거나 해로워야 하고, 이것이 VLRLA와 반대되는 결과라 차별점의 증거가 된다. (b) 위치는 보존하고 내용만 shuffle. (c) 성공 1비트 토큰 ablation.
데이터: counterfactual 구성 참고. 같은 초기 상태에서 bias 방향이 다르면 실패 영상이 달라지고 수정 방향도 달라지는 쌍을 만들어 위치 shortcut을 막는다. K curriculum(2 → 2/6 교대)도 비교한다.
모델 대안: zero-init 잔차 adapter는 k=0 성능을 base와 같게 보장한다. one_leg 전체 파인튜닝 후 성능이 떨어진 문제(최종 1/30)의 대안으로 검토한다.
6 업데이트: 코드 여부와 차용할 실험 세팅
코드/데이터 비공개: PDF 링크, arXiv 페이지, GitHub/HF 검색 모두 없음 (2026-10-16).
| 세팅 | 차용 | 우리 쪽 형태 |
|---|
| seen 6 / unseen 6 과제 분할 | O | one_leg 등에서 학습 → 다른 삽입/T2-Z 과제에서 평가 |
| 히스토리 ablation (메모리 0, 첫 ep 반복, 이식, context 길이) | O | + 내용 shuffle, 운 기준선, 조건부 SR |
| baseline: SFT / GRPO / RoboTTT 재구현 | O | 가중치 업데이트 vs reward 없는 in-context 비교 |
| RoboTwin 12과제 수치 | △ | Long-WAM 공개 robotwin2_idm으로 가능. 단 표 집계 기준 불명확, 접촉 약함 |
| 숨은 목표(접시 색) | △ | T2-Z light_switch로 대체 |
| HITL curriculum, PPO 순서열 데이터 | X | 인스턴스를 공유하지 않아 가설 검증 불가 |