Daily Progress — 2026-08-18 (화)

Robotics · Physical AI · World Action Models — 15개 프로젝트 스캔 (기간: 어제 1일)

4/15Active Projects
12Commits
30SLURM Jobs

오늘의 우선순위

  1. MolmoBotRUNNING — Phase 2 mixture 학습 v2(job 84260, 8 GPU own, 07:05 시작, ETA ~2일) 진행 중. v1(83196)이 tyro CLI의 dict[str,float] 파싱 버그로 반복 플래그가 마지막 값만 남아 실제로는 main 0.85 + Color 0.15만 학습된 결함을 발견 — 단일 플래그 형식으로 수정하고 "5종 데이터셋 로드 검증" 단계를 추가해 재제출했다. 완주 후 5k 배수 ckpt로 Pick/PnP/NextTo rollout eval 재실행 필요.
  2. X-WAM_MoT — 신규 프로젝트, 스캐폴드→MoT expert 구현→100-step 스모크 A/B PASS(video_loss 비율 0.98)까지 하루 만에 완료하고 8-GPU 게이트 학습(84180)을 냈다. 42분 만에 preempt됐고 재제출(84245)은 own 쿼터가 MolmoBot의 mx*/pi05mix2로 점유돼 AssocGrpGRES로 PENDING — 자원 확보되는 대로 8/8 GPU active + world-size-guard 로그 확인 필요.
  3. scene_bench — house 136 단일 씬 편중을 5개 씬 매트릭스로 반증(20/20 런 팔 활동 확인, "part1 무모션" 결론 기각). part1 3/10 vs aux-mix 2/10 SR — aux(Color 15%) 개선은 아직 미확인(n=1/셀). MolmoBot mix v2 완주 후 정식 비교 필요, pnp horizon 900 재실험도 대기 중.
  4. cosmos_policy — "추론 시 생성량 축(0/1/2/N 프레임)" 실험을 Cosmos Policy base로 진행하지 않기로 결정(생성량이 자연스러운 knob이 아니고, 이 repo가 이미 619 GPU-h를 날린 전례가 있어 비용 정당화 불가) — 별도 substrate로 이관, 문서만 남기고 계속 보류.

TL;DR. 15개 대상 중 4개 활성(커밋 12건 — X-WAM_MoT 8 + scene_bench 4, SLURM 30건: COMPLETED 13 / CANCELLED 14 / PREEMPTED 1 / PENDING 1 / RUNNING 1). 현재 RUNNING인 job은 MolmoBot의 pi05mix2(84260, 8GPU own, 경과 1:56) 하나뿐 — Phase 2 mixture 학습 v1이 tyro CLI dict 파싱 버그로 실제로는 main+Color 2종만 학습됐다는 걸 뒤늦게 발견해 재제출한 교정판이다. 신규 프로젝트 X-WAM_MoT는 하루 만에 스캐폴드→MoT(Mixture-of-Transformers) expert 구현→100-step 스모크 PASS(video_loss 비율 0.98)를 마치고 8-GPU 게이트를 냈으나 42분 만에 preempt, 재제출은 자원 경합(own 쿼터를 MolmoBot mx*/pi05mix2가 점유)으로 PENDING이다. scene_bench는 house 136 단일 씬 편중을 반증하는 5씬 매트릭스를 완주해 "part1 무모션" 결론을 뒤집었다(part1 3/10 vs aux-mix 2/10 SR). cosmos_policy는 보류 상태를 유지한 채 "추론 시 생성량 축" 실험 방향을 다른 substrate로 이관하기로 결정, 기록만 남겼다. 나머지 11개 프로젝트(ImageWAM / UMI / cosmos / VGGRPO / tau-0-wm / MetaView-action / X-WAM / lingbot-va / MetaView / SceneMem / DreamData)는 이번 1일간 활동 없음.

프로젝트별 진행 상황

MolmoBot High

MolmoSpace(allenai/molmobot-data)로 pi0.5를 finetuning하고 시뮬 rollout 성공률로 평가 (+ MolmoBot-Pi0 서브모듈).

어제 한 일

커밋 0건 (문서만)

COMPLETED ×9CANCELLED ×10RUNNING ×1 — aux scan(CPU-only) 2건 + mix v1 학습(83196, 8GPU own, 12:19:53, 사후 결함 발견) + mx20k/15k/10k/50k Pick/PnP/NextTo rollout eval(1GPU own) 다수. 결함 발견 후 잔여 eval 대량 취소, mix v2(84260, 8GPU own) RUNNING 1:56:14 경과(ETA ~2일).

오늘 할 일 / 이슈

X-WAM_MoT High

X-WAM의 action/proprio 토큰을 shared trunk에서 분리해 MoT(Mixture-of-Transformers) 전용 expert 타워로 옮겼을 때 RoboCasa control 성능이 오르는지 검증 (X-WAM에서 신규 분기).

어제 한 일

커밋 8건:

PREEMPTED ×1PENDING ×1 — mot_v1 게이트 학습(job 84180, 8GPU extra) 42분만에 preempt → 재제출(84245)도 own 쿼터가 MolmoBot mx*/pi05mix2로 점유돼 AssocGrpGRES로 PENDING.

오늘 할 일 / 이슈

scene_bench High

가정용 로봇을 위한 장기 기억(scene-level memory) 벤치마크 — 다일간 누적 컨텍스트 회상·행동 테스트.

어제 한 일

커밋 4건:

COMPLETED ×4CANCELLED ×4 — 매트릭스 워커(1GPU extra) part1/mix ckpt × 5씬 × 2스킬 실행, 기본 이미지 Triton JIT 실패로 1차 시도 취소 후 --container=python:3.11 폴백으로 재제출 성공.

오늘 할 일 / 이슈

cosmos_policy Medium

Cosmos Policy 재현 + 중간 프레임 supervise가 표현을 physically/geometrically 개선하는지 A/B 검증. ⏸ 보류 중(재개 절차 문서화됨).

어제 한 일

커밋 0건 (문서만, git 히스토리 자체는 올해 초 이후 변경 없음)

SLURM: 없음 (프로젝트 보류 중, 기간 내 sbatch 없음)

오늘 할 일 / 이슈

활동 없음 (지난 1일)

ImageWAMLast: 2026-08-16 (2일 전)
UMILast: 2026-08-15 (3일 전)
cosmosLast: 2026-08-15 (3일 전)
tau-0-wmLast: 2026-08-14 (4일 전)
MetaView-actionLast: 2026-08-13 (5일 전)
X-WAMLast: 2026-08-13 (5일 전)
lingbot-vaLast: 2026-08-12 (6일 전)
MetaViewLast: 2026-08-11 (7일 전)
SceneMemLast: 2026-08-11 (7일 전)
DreamDataLast: 2026-08-06 (12일 전)
VGGRPOLast: 2026-08-03 (15일 전)

SLURM 작업 (지난 1일, 30건)

Job ID프로젝트실행 명령GPU상태실행 시간노드
83045MolmoBotauxscan2 (scan_aux_videos.sh, CPU)0COMPLETED00:36:09n24
83158MolmoBotauxscan3 (scan_aux_videos.sh, CPU)0COMPLETED00:21:21n7
83196MolmoBotpi05mix (train_pi05_mlspaces.sh, MIX=1 — 결함판)8COMPLETED12:19:53n7
84071scene_benchmatrix_mix20k (run_matrix_worker.sh)1COMPLETED00:06:36n51
84072scene_benchmatrix_part1_20k (run_matrix_worker.sh)1COMPLETED00:06:26n53
84073MolmoBotmx20kPick (rollout_val.sh)1COMPLETED00:03:27n6
84074MolmoBotmx20kPnP (rollout_val.sh)1COMPLETED00:02:23n7
84075MolmoBotmx20kNext (rollout_val.sh)1COMPLETED04:39:14n25
84076MolmoBotmx15kPick (rollout_val.sh)1COMPLETED00:01:52n37
84077MolmoBotmx15kPnP (rollout_val.sh)1COMPLETED00:01:54n31
84078MolmoBotmx15kNext (rollout_val.sh)1CANCELLED04:40:04n42
84079MolmoBotmx10kPick (rollout_val.sh)1COMPLETED04:18:49n44
84080MolmoBotmx10kPnP (rollout_val.sh)1CANCELLED04:38:04n6
84081MolmoBotmx10kNext (rollout_val.sh)1CANCELLED00:15:34n44
84082MolmoBotmx50kPick (rollout_val.sh)1CANCELLED00:03:04n43
84083MolmoBotmx50kPnP (rollout_val.sh)1CANCELLED00:00:00-
84084MolmoBotmx50kNext (rollout_val.sh)1CANCELLED00:00:00-
84104scene_benchmatrix_mix20k_c1 (컨테이너 폴백 시도)1CANCELLED00:00:00-
84105scene_benchmatrix_part1_20k_c11CANCELLED00:00:00-
84106scene_benchmatrix_mix20k (재시도)1CANCELLED00:00:00-
84107scene_benchmatrix_part1_20k (재시도)1CANCELLED00:00:00-
84108scene_benchmatrix_mix20k_c2 (--container=python:3.11)1COMPLETED00:43:01n53
84109scene_benchmatrix_part1_20k_c2 (--container=python:3.11)1COMPLETED00:41:44n56
84176MolmoBotmx20kPick (재제출)1CANCELLED00:00:00-
84177MolmoBotmx20kPnP (재제출)1CANCELLED00:00:00-
84178MolmoBotmx15kPick (재제출)1CANCELLED00:00:00-
84179MolmoBotmx15kPnP (재제출)1CANCELLED00:00:00-
84180X-WAM_MoTmot_v1 (gate_base.sh mot)8PREEMPTED00:42:34n12
84245X-WAM_MoTmot_v1 (재제출, AssocGrpGRES 대기)8PENDING00:00:00-
84260MolmoBotpi05mix2 (train_pi05_mlspaces.sh, 교정판)8RUNNING01:56:14+n6