RoboMME Closed-loop Full Sweep — MemER LoRA × symbolic-grounded-subgoal VLA

배경/목적 (왜)

260428 에 BinFill ep0 1 episode closed-loop 동작 확인 후 (10 min, 1 success), 다음 단계로 16 task × 50 episodes = 800 episodes 풀 sweep 으로 확장. 목표: MemER (high-level VLM) + MME-VLA (low-level pi0.5) 파이프라인의 task-level success_rate 표 확보.

작업 내용 (어떻게)

Sbatch 인프라

3 개 스크립트 작성 (모두 원본 repo 코드 무수정 원칙 유지):

1. scripts/run_closed_loop_one_task.sh — task 1 개당 1 sbatch job. 같은 worker 의 2 GPU 를 server (GPU 0) + client (GPU 1) 로 나눔. 자동 restart loop 로 SAPIEN Vulkan crash 회복.
2. scripts/launch_closed_loop_sweep.sh — 16 task 를 sbmr 5 로 일괄 제출 (--gres=gpu:2 -c 28 --mem=400GB --qos=core-extra).
3. scripts/aggregate_closed_loop.py — 16 task 의 progress.json 모아 success_rate 표 출력.

Per-task save_dir 격리

eval.py 가 모든 task 의 결과를 단일 progress.json 에 쓰는 race condition 회피 위해 task 마다 --args.save_dir=runs/evaluation_per_task/<TASK> 로 분리.

Sweep 진행 중 발견된 호환성 이슈 (5개 monkey-patch 추가)

scripts/run_eval_with_mplib_patch.py 의 mplib 0.2.1 ↔ ManiSkill 3.0.0b21 / robomme_benchmark 호환 패치를 sweep 진행하며 추가:

추가 운영 fix

• VLM attn_impl=sdpa: api_memer.py 의 hard-coded flash_attention_2 회피 (robomme env 에 flash_attn 없음).
• merge_key_frame_paths empty-dict guard: 첫 호출 IndexError 회피.
• history_config.txt 누락: VLA checkpoint zip 압축 해제 시 빠진 symbolic-grounded-subgoal.yaml 1줄 작성.
• GPU 할당 (cluster reset 후): cgroup 이 namespace 에서 device 를 0,1 로 매핑하는 worker 발견 → CUDA_VISIBLE_DEVICES=0 (relative) 로 통일.
• XLA_PYTHON_CLIENT_PREALLOCATE=false: 다른 jobs 가 같은 physical GPU 공유 시 75% preallocate 가 OOM 유발 → grow on demand.
• CPU 할당 새 노드 spec 매칭: cluster reset 후 worker 가 144 → 112 CPU 로 변경 (14 CPU/GPU). -c 36 → -c 28 로 수정.
• SAPIEN Vulkan instance leak: ~27 episode 후 ErrorIncompatibleDriver 로 client process 죽음 → bash restart loop 가 같은 server 에 client 만 재기동, progress.json 의 done episode 자동 skip.

자동 재시도

sbmr 5 (5회 retry) + 같은 sbatch 안의 client restart loop 로 다음 자동화: - PREEMPTED → sbmr 가 새 job 으로 재제출 - Vulkan crash → script 안에서 client process 재시작 (server 살림) - COMPLETED 0:0 + log.json 미존재 (= tee 가 exit code 가림) → 사용자가 수동 재제출

마지막 항목은 tee -a 의 한계. tee 의 PIPESTATUS 잡아서 nonzero 이면 sbmr requeue 가능하게 추후 개선 여지 있음.

결과 (수치)

16/16 task × 50 episodes = 800 closed-loop rollouts 완료 (runs/evaluation_per_task/<TASK>/symbolic-grounded-subgoal/ckpt79999/seed7/memer/{progress.json, log.json, videos/})

Task                    Success  Total     Rate
-----------------------------------------------
MoveCube                     44     50    88.0%
ButtonUnmask                 41     50    82.0%
PickHighlight                41     50    82.0%
VideoUnmask                  39     50    78.0%
PickXtimes                   38     50    76.0%
BinFill                      32     50    64.0%
SwingXtimes                  30     50    60.0%
VideoPlaceOrder              18     50    36.0%
VideoUnmaskSwap              18     50    36.0%
VideoPlaceButton             14     50    28.0%
VideoRepick                  11     50    22.0%
ButtonUnmaskSwap              9     50    18.0%
PatternLock                   8     50    16.0%
RouteStick                    5     50    10.0%
StopCube                      2     50     4.0%
InsertPeg                     2     50     4.0%
-----------------------------------------------
AVERAGE                                  44.0%

Tier 별 분포

• High (>=70%): MoveCube, ButtonUnmask, PickHighlight, VideoUnmask, PickXtimes — 5/16
• Mid (30–70%): BinFill, SwingXtimes, VideoPlaceOrder, VideoUnmaskSwap — 4/16
• Low (10–30%): VideoPlaceButton, VideoRepick, ButtonUnmaskSwap, PatternLock, RouteStick — 5/16
• Very low (<10%): StopCube, InsertPeg — 2/16

Wall-clock

• 시작 (smoke 4 task 제출): 260428 ~14:23 UTC
• 끝 (InsertPeg 마지막 ep): 260430 ~07:13 UTC
• 총 wall-clock ≈ 41 시간, 그중 SLURM controller down 으로 ~3h, cluster reset 후 worker 재구성 ~2h, 사용자 우선순위 잡 위해 cancel + reschedule ~몇 회.

Visualization

scripts/render_with_memory.py 로 rollout video + memory FIFO thumbnail strip 합친 mp4 생성. BinFill ep0 / MoveCube ep0 검증 OK. 출력: runs/evaluation_per_task/<TASK>/symbolic-grounded-subgoal/ckpt79999/seed7/memer/videos_with_memory/<TASK>_ep<N>_with_memory.mp4. 800 ep 풀 렌더 background 진행 중.

의미 (Takeaway)

1. MemER (high-level VLM grounded subtask) + MME-VLA (low-level pi0.5 + memory expert) 풀 파이프라인이 16 task 모두 동작. 기본 동작 검증 완료.
2. Task 난이도와 sr 의 강한 상관: pick-and-place (MoveCube 88%, ButtonUnmask 82%) ≫ multi-step long-horizon (PatternLock 16%) ≫ precision peg-in-hole / timing-critical (InsertPeg 4%, StopCube 4%).
3. mplib 0.2.x ↔ ManiSkill 3.0.0b21 호환 monkey-patch 6개 종합 정리. 다음 사용자가 이 cluster 에서 RoboMME 돌릴 때 단축 경로 제공.
4. SAPIEN Vulkan instance leak (~27 ep 마다 process restart 필요) 발견. upstream 이슈로 보고 가치 있음.
5. B200 cluster 의 cgroup GPU isolation 이 worker 마다 다름 (post-reset). Relative CUDA_VISIBLE_DEVICES=0,1 사용이 안전.

보완점 / 다음 (Next)

단기

• Memory FIFO 표시 정확성 검증: render_with_memory.py 로 만든 비디오 몇 개 sample 확인. exec_start_idx 매핑 + sim step → 호출 매핑 정확한지.
• 차량 특화 fix tee/PIPESTATUS: 현재 client 가 nonzero 로 죽어도 tee 가 0 으로 마스킹. tee 후 PIPESTATUS 검사해 sbmr requeue 트리거 가능하게 개선.
• sister repo 비교: dusting checkpoint vs 본 RoboMME-trained 의 task 별 정성 비교 (이미 VLM-only 단계에서 한 번 했고, 이번은 closed-loop sr 로 확장).

중기

• Multi-seed 평균: 현재 seed=7 단일. paper 표 만들려면 seed 3개 평균 필요.
• 에러 분석: 낮은 sr task 들 (StopCube, InsertPeg) 의 fail 모드 분석 — VLM 이 wrong subtask 출력? 좌표 부정확? VLA 가 grasp 못 함? eval log 의 stop_flag 시점과 subtask 시퀀스로 분류.
• Subtask consistency analysis: predictions.jsonl 의 grounded coords 가 episode 안에서 안정적인지 (drift 있는지).

장기

• PR: monkey-patch 들을 robomme_benchmark + mani-skill upstream 으로 PR.

참고 파일

• 이전 단계: 260427/exp-memer_lora_binfill_ep0.md (VLM-only)
• BinFill ep0 closed-loop: 260428/exp-binfill_ep0_closed_loop.md
• 환경 셋업: 260428/setup-robomme_b200_cluster.md
• Wrapper: scripts/run_eval_with_mplib_patch.py
• Sbatch infra: scripts/run_closed_loop_one_task.sh, scripts/launch_closed_loop_sweep.sh, scripts/aggregate_closed_loop.py
• Visualization: scripts/render_with_memory.py
• Final aggregate: tmp/final_aggregate.txt
• Result root: runs/evaluation_per_task/<TASK>/symbolic-grounded-subgoal/ckpt79999/seed7/memer/