flex-pi

Flex-π(UW/AI2, 6B multi-stream world-action model: RGB·pointmap·DINOv3·action 공동 디노이징,

14 reports 3 weeks

260907 — 260913 2 reports · 4 tables 2

P-B Presence 축 실험 — action_rgb(RGB-only 추론) 8-task Ablation

P-B presence 축: DINO/pointmap 현재 입력까지 제거한 action_rgb(RGB-only 추론) 8-task×100ep — clean 88.6 / random 18.5, joint(89.5/41.0) 대비 random -22.5pt. random에서 '현재 입력 몫' +13.9, '미래 생성 몫' +8.6로 거의 대등하게 독립 기여, latency 173.7ms/call(joint 대비 -43%)

Flex-π vs FastWAM task별 비교 — 학습 목표가 만드는 표현 차이

리더보드 task별 JSON으로 FastWAM 등과 대조: ours joint가 FastWAM 대비 clean 39승 3무 8패(+12.5 macro), random 50승(+49.2 macro) — RGB만 보는 action_rgb도 clean 88.6로 FastWAM(74.1) 대비 +14.5 → 격차는 입력 모달리티가 아니라 학습 목표(DINO/pointmap 미래 예측 + cross-modality forcing)에서 발생

260831 — 260906 6 reports · 13 tables 6

공유 RoboTwin 에셋 변조로 인한 평가 오염 — 진단과 격리

clean-50 ckpt 평가에서 lift_pot이 9k/10k는 4%/0%인데 10960 부분결과만 100% → 원인은 정책이 아니라 공유 \1 등 7개 URDF 변형 디렉토리가 타 세션 작업으로 삭제된 것(\1 207~255회/task). Flex-π 전용 \1 복사본으로 격리, job 107202 취소, 4 units 재실행 대기 — tau-0-wm도 같은 트리 공유로 영향권.

Flex-π clean-50 ckpt 선택 확정 & 리더보드 평가 제출

clean-50 ckpt 선택: 9k/10k/10.96k overall 67.8/68.0/67.8 동률 → \1 확정 (clean 93.5 / random 42.0). 디렉토리↔ckpt 매핑 오류 교정, 리더보드 프로토콜 50-task 평가 5 job 제출

확정 ckpt 10960의 50-task 리더보드 평가

Flex-π clean-50 리더보드 프로토콜 평가 & action-only 대조

clean-50 Flex-π(Wan2.2 init) 리더보드 프로토콜 50 task × 100 ep: joint c2c 90.24 / c2r 51.12 / avg 70.68 (리더보드 c2c 1위·avg 2위 수준, 미제출·optix). 같은 프로토콜 action-only 89.56 / 34.94 / 62.25 → world-model stream은 분포이동에서만 +16.2 pt (45승 4패), clean에선 +0.7 → P-C 확정

Clean-50 Regime Contrast

clean-50(Wan init) 모델에서 full-joint가 action-only를 +8.75pt(clean2random +15.5) 앞섬 — full-data(Δ−0.8)와 부호 반전. 월드모델 생성은 데이터 부족+분포이동에서 벌어준다(논문 미보고 셀)

Flex-π 베이스 모델 유무 & clean-50 리더보드 프로토콜 학습 가능성 조사

Flex-π는 로봇 사전학습 베이스를 공개하지 않음(전 task config가 \1 init에서 직접 finetune) → clean-50 학습은 논문 Fig.10(사전학습 포함)보다 낮을 전망이나 리더보드 프로토콜과는 정합. RoboTwin 변환 데이터에서 \1를 실측(RGB diff 기반)으로 확인, text-embed 캐시도 1TB→2,500 prompt만 필요로 축소 — 실행은 사용자 승인 대기, 미착수.

feasibility 조사 후 사용자 승인 → 실제 실행 단계

Flex-π clean-50 학습 준비 완료 및 본 학습 착수

clean-50(리더보드 프로토콜) 학습 준비 3트랙(env·데이터·코드) 완료 → smoke(job 105235) \1(100 steps), \1@eff batch 512 → 10-epoch 본 학습 job \1 제출·RUNNING(own 8 GPU, ~25h)

260824 — 260830 6 reports · 13 tables 6

Flex-π RoboTwin full sweep 1차 결과 — 88/100, 95.20% + worker hang 진단

job 96576 full sweep 88/100 units 완료, 평균 95.20% (논문 94.6% 상회) → 남은 12 units는 \1 GPU 단위 wedge로 4h50m 무진전 TIMEOUT — GPU 0/2/5/7에 정확히 2개씩 물림 확인, GPU당 1 worker로 job 97455 재개 제출

job 97455(재개 12 units) 완료 → 100/100 최종 수치 확정 및 hang 가설 검증

Flex-π RoboTwin full-joint 재현 최종 확정 — 94.15% (논문 대비 −0.45pp)

job 97455 재개(GPU당 worker 1개) 완료 → RoboTwin full-joint 100/100 units 최종 평균 \1(clean 93.88 / random 94.42), 논문 \1 대비 \1 — 사실상 재현 성공. \1→1 전환 후 hang 재발 0건(가설과 일치), \1 53.5%가 유일한 큰 이상치. action-only 대조군 job 99203 제출.

Flex-π × RoboTwin 2.0 타당성 조사

Flex-π는 RoboTwin 2.0을 공식 지원 — 변환/래퍼 없이 env 구축 + 다운로드(ckpt 12 GB, 데이터 75.5 GB, text 캐시 1.09 TB)만으로 평가·학습 가능

타당성 조사의 Next 1~3 실행

Flex-π RoboTwin eval 파이프라인 구축

robotwin env 클론(\1)에 Flex-π eval을 얹어 worker+isaac-lab 컨테이너에서 RoboTwin smoke 통과(lift_pot 2/2, 397 ms/call) → OIDN이 B200 미지원이라 optix 디노이저로 우회(노이즈 −48%) → 50-task full sweep job 96576 제출

재현 파이프라인 위의 연구계획 수립

Adaptive Regime ralplan 합의

ralplan 3라운드 합의로 연구계획 확정(APPROVE): 전제 역전 실측(action-only가 full-joint보다 +0.8pt·1.56× 빠름) → 질문 재프레이밍 — Claim 1 즉시 성립, per-episode 선택 헤드룸은 21.5 GPU-h replicate 대조가 판정

계획 E0′.a의 입력 데이터 확정

Action-only Regime Sweep

action-only(VLA regime) 50-task sweep 완주: 94.93% — full-joint(94.15%)보다 +0.78pt 높고 1.56× 빠름. 단 joint가 +5pt 이상 버는 task 2개(scan_object, put_object_cabinet)가 존재 — 선택의 여지 실재

Auto-generated — python build_index.py — 2026-10-23 12:47