Daily Progress — 2026-08-17

오늘의 우선순위

MolmoBot — Phase 1 HardBench eval 캠페인(5k/10k/15k/20k × Pick/PnP/NextTo) 사실상 완주(PnP@20k 42.5%). aux 4종(Pick/PnP-p0/NextTo/Color, ~4.6TB) 다운로드 완료 확인 → 인덱스 생성 → Phase 2 mixture 학습(main 0.35/Pick 0.2/PnP-p0 0.1/NextTo 0.2/Color 0.15) 착수.
scene_bench — MolmoBot-Pi0 VLA 통합 후 조작 성공 0건(pick 문장에서 팔 정지) 원인 규명이 최우선. 프롬프트 A/B → 카메라 A/B → 저자 eval.py 재현 순으로 좁힐 것.
ImageWAM — no-aug 실험이 10회 preempt 끝에 완주해 24-task SR 0.533(5개 조건 중 1위)을 확보했으나 vs B24 p=0.590으로 통계적 무승부. 증강 여부 질문은 여전히 미해결 — 다음 후보(E축: video/target이 action을 attend)는 미승인 상태로 사용자 판단 대기.
cosmos — guidance 2.0/4.0 스윕 완료로 CFG 축 탐색 종료(3.0이 peak, 배포값 확정). 다음 우선순위는 CFG-off 2배속 실측과 Cosmos3-Edge-Policy-DROID 시도.
UMI — World-Action Model 학습으로 방향 확정, center-crop 전처리(640×512, 77% crop) 결정 완료. 남은 결정: WAM 코드베이스(X-WAM/cosmos-policy/fastwam) 및 view 조합 선택.
tau-0-wm — naive baseline 63.0% 확정 후 후속 문서 갱신 없음. TTC 실험(RCS 시뮬레이터 zmq 브릿지 이식) 착수 필요 — τ₀ 핵심 주장 검증이 아직 미착수.
VGGRPO — X-WAM 카메라 캐시·stitch-layer 준비 작업만 진행(20분 내 완료). Cosmos-norm 4-way ablation(dino4/agg2) 학습 상태는 문서 미갱신으로 완주 여부 불명 — 점검 필요.

TL;DR. 14개 대상 중 7개 활성(커밋 3건 — 전부 scene_bench, SLURM 52건: COMPLETED 32 / PREEMPTED 20). 현재 RUNNING 중인 job은 없음. 가장 큰 수확은 MolmoBot의 pi0.5×MolmoSpace Phase 1 완주 — 8-GPU own으로 20k step/12시간 반 학습(loss 0.011) 후 HardBench 4개 체크포인트 × 3태스크를 own QOS로 전수 평가해 PnP@20k 42.5%(논문 pi0.5 ft 평균 36% 상회)를 확보했다. ImageWAM은 같은 3일 동안 noaug 학습이 10번 연속 preempt되다 결국 완주(step 20280)해 24-task SR 0.533을 냈지만 B24 대비 통계적으로는 여전히 구분 불가(p=0.590). scene_bench는 자체 파인튜닝한 신규 VLA(MolmoBot-Pi0)를 온라인 하네스에 연결하는 데는 성공했으나 조작 성공이 0건이라 프롬프트/카메라 분포 불일치를 의심 중이다. cosmos는 guidance 스윕을 마무리해 3.0을 최종 배포값으로 확정했다. 나머지 7개 프로젝트(MetaView-action / X-WAM / lingbot-va / MetaView / SceneMem / cosmos_policy / DreamData)는 이번 3일간 git·문서·SLURM 어느 쪽에서도 활동이 없었다.

프로젝트별 진행 상황

MolmoBot High

MolmoSpace(allenai/molmobot-data)로 pi0.5를 finetuning하고 시뮬 rollout 성공률로 평가 (+ MolmoBot-Pi0 서브모듈).

어제 한 일

커밋 0건 (문서만)

claude/260816/exp-pi05_mlspaces_part1_results.md · exp
Phase 1(part1-only) 완주. job 81047 — 20k step / 12h30m, 8 GPU own, final loss 0.011, ckpt 5k/10k/15k/19999/20000 저장. HardBench 200ep rollout: PnP@20k = 42.5%(논문 pi0.5 ft 평균 36% 상회), Pick 7.5% / NextTo 10.5%(미학습 태스크는 낮음). 잔여 eval 6칸을 own QOS로 수집 완료.
claude/260815/analysis-worker_triton_failure.md · analysis
워커 JIT 실패 관련 트러블슈팅 — 컨테이너 이미지 gcc 부재로 Triton 컴파일 실패 이슈 진단, `--container=nvcr.io/nvidia/cuda:12.8.0-devel-ubuntu22.04`로 우회.
claude/260814/analysis-pi05_molmospace_finetune_review.md · analysis
공식 AllenAI `pi05_mlspaces_finetune` 파이프라인 무수정 검증 — action 규약 정합 확인.

SLURM: COMPLETED ×24PREEMPTED ×9 — 본학습 pi05mls(own, gpu:8, 12:30:32) 완주 후 5k/10k/15k/20k × {Pick,PnP,NextTo} HardBench rollout 27종 평가(own, gpu:1, 건당 ~4~5h), extra QOS 다수 preempt 끝에 own으로 안정화. + vidscan/viddeep(CPU-only 무결성 스캔) + MolmoBot-Pi0 auxscan1(aux video scan)

오늘 할 일 / 이슈

Phase 2 aux 4종(Pick p0/PnP p0/NextTo p2/Color p0, ~4.6TB, ~13h) 다운로드 완료 확인
각 aux dataset 인덱스 생성(--index-only) + 무결성 스캔 → mixture 학습 제출 (가중치 main 0.35/Pick 0.2/PnP-p0 0.1/NextTo 0.2/Color 0.15)
venv 내 molmo-spaces 패치 2건(task_cls 정규화, displacement assert 완화) — uv sync 재실행 시 재적용 필요

NAS 여유 32TB 예상 — .shard_cache/불용 스모크 산출물 정리 필요

ImageWAM High

RoboCasa에서 ImageWAM 재현 + "action token이 target image token을 attend하면 더 좋아지는가" 아키텍처 축 검증.

어제 한 일

커밋 0건 (문서만)

claude/260816/analysis-noaug_and_five_way_summary.md · analysis
증강(image augmentation) off 실험 완료: 24-task SR 0.533 — 다섯 조건(no-aug/B24/D-min/C-joint/C-pred) 중 최고지만 설계된 대조(vs B24 0.512) p=0.590으로 통계적 무승부. pairwise McNemar를 10번 돌린 것 중 p=0.048 하나(vs C-pred)도 Holm 보정(0.005)에서 탈락 — 다섯 조건 전부 여전히 통계적으로 구분 불가. 안정적인 것은 순서뿐: no-aug ≥ B24 > D-min ≈ C-joint > C-pred(target을 읽는 세 조건이 전부 하위). 논문에는 augmentation 서술이 아예 없다는 점도 재확인.

SLURM: COMPLETED ×3PREEMPTED ×10 — rc24_NA(noaug 학습, extra, gpu:8) 10회 연속 preempt 끝에 job 82185에서 완주(3:06:30, step 20280) → 82236 eval(gpu:4, 0:40:42, N_ROLLOUTS=10)로 SR 0.533 산출

오늘 할 일 / 이슈

다음 후보 E축(video/target이 action을 attend해 미래를 action-conditioned로) — 정보 천장을 뚫는 유일한 개입이나 미승인 상태, 사용자 판단 대기
startup hang(NCCL_NVLS_ENABLE=0으로 잠정 해소) 재발 여부 관찰 지속

CPU throttling 543~578%(64코어 한도) — PyAV/FFmpeg 디코더 auto-threading이 원인으로 추정, throughput 실손해는 작음
논문↔코드 불일치 3건 미해소(denoising steps, loss 가중치, τ⋆ 값)

scene_bench High

가정용 로봇을 위한 장기 기억(scene-level memory) 벤치마크 — 다일간 누적 컨텍스트 회상·행동 테스트.

어제 한 일

커밋 3건:

d48d657feat: molmobot policy adapter — raw-obs ws client, prompt profile, camera config+514/-16, 6 files
0e9f53cfeat: molmobot serve script + verification runs+407/-0, 4 files
922e60bdocs: N6 molmobot VLA integration work log + context.md+80/-1, 2 files

claude/260816/exp-molmobot_vla_integration.md · exp
신규 VLA(MolmoBot-Pi0 part1 20k, 사용자 자체 FT, PnP 벤치 42.5%)를 온라인 하네스에 연결 완료(Task N6). raw-obs ws 어댑터 + 프롬프트 프로파일("Pick up the X and place it in or on the Y") + FrankaOmniPurposeCameraSystem 구현 — 통합 자체는 성립(전 루프 완주)했으나 조작 0승. pick 문장에서 팔 정지(모션 규모가 이전 정책의 1/600), pnp 문장에는 반응 → 프롬프트/카메라 분포 불일치 의심. 다음 단계: 프롬프트 A/B → 카메라 A/B → 저자 eval.py 재현 순으로 원인 격리.

SLURM: 없음 (기간 내 sbatch 없음 — 검증은 로그인 노드 π0.5 정책서버 직접 실행, 작업 후 kill 확인됨)

오늘 할 일 / 이슈

프롬프트 A/B → 카메라 A/B → eval.py 재현 순으로 조작 0승 원인 격리(최우선)
online 하네스 백로그: 결합 런(자연어→plan-first→온라인 실행) 배선, F6(PnP-resume 후 bowl 낙하) 조사, done-verification 구현

데이터 생성팀 대기 — Behavior 규칙 출처, Phase 2 test 30채 출처 등 사용자 결정 필요 항목 다수

cosmos Medium

NVIDIA Cosmos3 world model을 클러스터에서 실행 가능하게 만들고 RoboLab 시뮬 벤치마크로 X-WAM 등과 비교 가능한 수치 확보.

어제 한 일

커밋 0건 (문서만)

claude/260812/exp-cfg_off_ablation.md · exp (업데이트 섹션)
guidance 스윕 2.0/4.0 완료 — 30태스크 보정 서브셋 n=300/점: 1.0=26.0% · 2.0=36.3% · 3.0=37.0%(peak) · 4.0=34.7%. 1.0→2.0 급상승 후 평탄, 4.0은 over-guidance로 하락. 기본 3.0이 최적으로 확정, CFG 축 탐색 종료. 속도는 이진적(1.0만 1-forward·2배속, 2.0/3.0/4.0은 동일 2-forward)이라 중간 트레이드오프 없음 — 배포값 3.0 유지.

SLURM: COMPLETED ×2PREEMPTED ×1 — gsweep2p0(gpu:2, 16:26:51) COMPLETED, gsweep4p0 1차 PREEMPTED(1:42:00) → 재제출 80169 COMPLETED(15:16:05)

오늘 할 일 / 이슈

CFG-off 2배 속도 실측(bench_policy_latency GUIDANCE 스윕)
Cosmos3-Edge-Policy-DROID 시도 (화질↑ 경로)
0% 태스크 실패 원인 정량 분석

UMI Medium

HiFi-UMI-2K(2,000h robot-free bimanual manipulation)를 1~5TB 예산 내에서 확보해 world-action-model 학습 데이터로 사용.

어제 한 일

git 저장소 아님 (커밋 추적 불가)

claude/context.md + claude/260812/plan-hifi_umi_wam_eval_design.md (260815 갱신)
방향 확정: World-Action Model 학습. RoboTwin transfer 경로는 보류 — 그리퍼 하드웨어 부재로 실기 배포 불가, 시뮬에 동일 그리퍼 투입 불가(CAD/URDF 없음), 논문의 fisheye 해법은 하드웨어를 맞춘 것이라 전이 가능한 기법이 없다는 결론. 전처리 결정: fisheye rectification 대신 center crop — 중앙 77% crop → 640×512(1.30x 업스케일), 입체각 59% 보존·4.17 px/deg. 비교군 rectilinear 120°(43%/3.22 px/deg) 대비 커버리지·해상도 양쪽에서 우세.

SLURM: 없음

오늘 할 일 / 이슈

WAM 입력 view 조합, 사용할 코드베이스(X-WAM / cosmos-policy / fastwam) 결정
어느 코드베이스든 VideoReader LRU 캐싱 필수(미적용 시 6-view 39s/sample → 캐싱 시 126ms)

데이터 스케일 121h — 논문 pretraining 4,000h 대비 3%, cross-embodiment 전이 자체가 미검증 가설

VGGRPO Low

Video diffusion model 생성 비디오의 3D consistency를 4D geometry reward로 강화(GRPO). VGGT-Ω 백본 + Cosmos-Predict2 VAE 트랙.

어제 한 일

커밋 0건, 문서 갱신 없음 — SLURM 유틸리티 작업만 진행

SLURM: COMPLETED ×2 — build_xwam_cam_cache.sh(gpu:1, 0:16:29), find_stitch_layer_vggt_dinov2_xwam.sh(gpu:1, 0:03:30) — X-WAM 카메라 캐시·stitch-layer 준비 작업

오늘 할 일 / 이슈

Cosmos-norm 4-way ablation(dino4/agg2) 학습 상태 점검 — context.md 기준 job 37233/37399가 "완주 ~2일 후"였으나 이후 갱신 없어 완주 여부 불명

fp32 재전처리 후 일부 demo attrs["num_samples"] overreport — 근본 해결 미착수(임시 clamp로 방어 중)

tau-0-wm Low

τ₀-World Model(VAM)의 naive 성능(TTC 없이 기본 posttrain + 5-step 추론)을 RoboCasa 24-task에서 측정해 X-WAM과 비교.

어제 한 일

커밋 0건, 문서 갱신 없음 — naive 결과 확정(260813)의 마지막 eval job만 이 기간에 종료

SLURM: COMPLETED ×1 — tau_rc_eval_27000v2(gpu:4, 0:43:13)

오늘 할 일 / 이슈

TTC 이득 측정 착수(RCS 시뮬레이터를 zmq 브릿지에 이식) — naive 63.0% 대비 측정, τ₀ 핵심 주장 검증 아직 미착수
τ₀ pretrain 기여 분리용 base-Wan init 대조군 실험(arm A 완전 통제 비교)

활동 없음 (지난 3일)

SLURM 작업 (지난 3일, 52건)

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
79513	tau-0-wm	tau_rc_eval_27000v2 (eval_robocasa_tau.sh)	4	COMPLETED	00:43:13	1
79845	cosmos	gsweep2p0 (guidance=2.0)	2	COMPLETED	16:26:51	1
79846	cosmos	gsweep4p0 (guidance=4.0)	2	PREEMPTED	01:42:00	1
80169	cosmos	gsweep4p0 (재제출)	2	COMPLETED	15:16:05	1
80201	VGGRPO	build_xwam_cam_cache.sh	1	COMPLETED	00:16:29	1
80202	VGGRPO	find_stitch_layer_vggt_dinov2_xwam.sh	1	COMPLETED	00:03:30	1
80517	MolmoBot	pi05mls (train_pi05_mlspaces.sh)	8	COMPLETED	00:06:37	1
80865	MolmoBot	pi05smk (smoke)	1	COMPLETED	00:07:39	1
80876	MolmoBot	pi05mls	8	COMPLETED	00:35:09	1
80887	MolmoBot	pi05mls	8	COMPLETED	00:55:11	1
80888	ImageWAM	rc24_NA (noaug train, train_robocasa_flux2_4b.sh)	8	PREEMPTED	00:13:01	1
80959	ImageWAM	rc24_NA	8	PREEMPTED	01:08:21	1
81016	MolmoBot	vidscan (scan_videos.sh, CPU)	0	COMPLETED	00:10:36	1
81047	MolmoBot	pi05mls (본학습, 완주)	8	COMPLETED	12:30:32	1
81050	MolmoBot	viddeep (scan_videos_deep.sh, CPU)	0	COMPLETED	00:15:12	1
81131	ImageWAM	rc24_NA	8	PREEMPTED	00:13:30	1
81189	ImageWAM	rc24_NA	8	PREEMPTED	00:12:28	1
81275	ImageWAM	rc24_NA	8	PREEMPTED	00:15:30	1
81290	ImageWAM	rc24_NA	8	PREEMPTED	00:40:00	1
81380	MolmoBot	pi05eval (rollout_val.sh)	1	COMPLETED	00:01:29	1
81440	ImageWAM	rc24_NA	8	PREEMPTED	02:30:43	1
81453	MolmoBot	pi05eval	1	PREEMPTED	02:24:43	1
81598	MolmoBot	pi05ev5k	1	PREEMPTED	06:07:00	1
81641	ImageWAM	rc24_NA	8	PREEMPTED	04:57:30	1
81691	MolmoBot	pi05ev10k	1	PREEMPTED	04:02:00	1
81835	MolmoBot	pi05ev15k	1	PREEMPTED	01:13:59	1
81936	MolmoBot	pi05ev15k	1	PREEMPTED	00:15:01	1
81956	ImageWAM	rc24_NA	8	PREEMPTED	00:11:00	1
81958	MolmoBot	e10kPick	1	PREEMPTED	00:10:31	1
81959	MolmoBot	e10kPickan	1	PREEMPTED	00:10:31	1
81960	MolmoBot	e10kPickan	1	PREEMPTED	00:10:31	1
81990	MolmoBot	pi05ev15k	1	COMPLETED	00:00:00	1
81993	MolmoBot	e5kNextTo	1	PREEMPTED	00:11:00	1
82004	MolmoBot	e10kPick	1	COMPLETED	00:00:00	1
82005	MolmoBot	e10kPickan	1	COMPLETED	00:00:00	1
82006	MolmoBot	e10kPickan	1	COMPLETED	00:00:00	1
82011	MolmoBot	e5kNextTo	1	COMPLETED	00:00:00	1
82013	ImageWAM	rc24_NA	8	COMPLETED	00:01:51	1
82117	MolmoBot	e20kPick	1	COMPLETED	04:18:18	1
82118	MolmoBot	e20kPnP	1	COMPLETED	04:50:08	1
82119	MolmoBot	e20kNext	1	COMPLETED	04:37:56	1
82120	MolmoBot	e10kPick	1	COMPLETED	04:14:31	1
82121	MolmoBot	e10kPnP	1	COMPLETED	04:48:29	1
82122	MolmoBot	e10kNext	1	COMPLETED	04:41:23	1
82123	MolmoBot	e15kPnP	1	COMPLETED	04:45:59	1
82124	MolmoBot	e15kNext	1	COMPLETED	04:38:12	1
82125	MolmoBot	e5kNext	1	COMPLETED	04:41:51	1
82126	ImageWAM	rc24_NA	8	PREEMPTED	01:46:30	1
82185	ImageWAM	rc24_NA (완주, step 20280)	8	COMPLETED	03:06:30	1
82223	MolmoBot	e15kPick	1	COMPLETED	04:15:07	1
82236	ImageWAM	rc24_NA_eval (run_eval_robocasa.sh, N_ROLLOUTS=10)	4	COMPLETED	00:40:42	1
82751	MolmoBot-Pi0	auxscan1 (scan_aux_videos.sh, CPU)	0	COMPLETED	00:03:32	1