Daily Progress — 2026-09-02

오늘의 우선순위

MolmoBot — pi05place 학습 RUNNING, own quota(8 GPU) 전부 점유 중. molmo-augment place 트랙(NextTo place 구간 절단본) 데이터 파이프라인을 어제 완성 — 15,043→15,027편 변환(카메라 누락 16편 제외), 1,461,277프레임 로드 검증 100% 통과, house 단위 val split(train 14,567/val 460). 지시문을 "Place the X next to the Y"로 재작성(친구팀 08-31 수정이 실제 로더가 읽는 h5 필드에는 반영 안 됐던 걸 발견). 혼합비 A안(main 0.30/Pick 0.15/PnP-p0 0.10/NextTo 0.15/Color 0.10/place 0.20)으로 job 105831 제출, mix@10k에서 이어 10k step 학습 — 지금 RUNNING(경과 2h+, own 8GPU 예산 1일). 이 job이 own quota를 전부 쥐고 있어 flex-pi·scene_bench 잡 6건이 PENDING으로 밀림 — 완료 시점이 오늘의 병목.
flex-pi — clean-50 10-epoch 학습 완주, ckpt selection sweep은 quota 경합으로 반쯤 멈춤. job 105354가 25h11m39s 만에 COMPLETED(오늘 06:54) — RoboTwin 2.0 리더보드 프로토콜 clean-50(2,500 demo) 전용 10-epoch 학습. 곧바로 5개 체크포인트(step 6000/8000/9000/10000/10960) × RoboTwin 8-task 서브셋(25 ep/task) 선택 sweep을 제출했으나, own 8GPU가 MolmoBot job과 부딪혀 2건은 본인이 직접 취소(c50sel_006000/008000), 3건은 QOSMaxCpuPerUserLimit로 PENDING. MolmoBot job 종료 즉시 자동 재개될 대기열.
scene_bench — restore family 스키마 복구 커밋 + 오픈 3모델 카나리아 평가 제출, 역시 quota 대기. 커밋 251ace1(v1 final 스키마에 restore family 지원 복구, 3 files)에 이어 Qwen3-VL-8B·Cosmos-Reason2-8B·Molmo2-8B 3모델의 restore family 카나리아(test_limit=1) 평가를 own 1GPU씩 제출 — 3건 전부 QOSMaxMemoryPerUser로 PENDING(같은 own quota 경합). 통과하면 restore family 전량 스윕으로 확장.

TL;DR

활동은 3개 프로젝트(MolmoBot, flex-pi, scene_bench)에 집중 — 커밋 1건(scene_bench), SLURM 12건(~222 GPU-h), 현재 RUNNING 1건. tau-0-wm·cosmos·X-WAM_MoT·scene_bench_paper는 이번 기간 무활동.
오늘의 핵심 변수는 own quota(8 GPU) 경합 — MolmoBot의 pi05place 학습(job 105831)이 quota를 전부 점유해, flex-pi ckpt selection sweep 3건 + scene_bench canary 평가 3건, 총 6개 잡이 PENDING으로 밀려 있다.
flex-pi: clean-50 리더보드 프로토콜 10-epoch 학습(job 105354)이 25h11m 만에 완주. 곧바로 5개 ckpt 선택 sweep 착수했지만 quota 부족으로 절반이 대기.
MolmoBot: molmo-augment place 데이터(15,027편) 변환·검증·혼합 완료 → 10k step 학습 job 105831 RUNNING. hand-off 배치 실패 모드를 겨냥한 실험이나, 평가 수단(HardBench)이 이 실패 모드를 못 재는 문제는 아직 미해결.
scene_bench: restore family 스키마 복구 커밋 + 오픈 3모델 restore 카나리아 제출 — 실행은 quota 대기 중.

프로젝트별 진행 상황

MolmoBot High

pi0.5 × MolmoSpace finetuning — molmo-augment place 데이터 통합 완료, pi05place 학습 RUNNING

0Commits

2Docs

1SLURM Jobs

1RUNNING

어제 한 일

molmo-augment place 트랙 파이프라인 완성 — convert_molmo_augment.py로 tar→house 레이아웃 변환(15,043→15,027편, 카메라 누락 16편 제외), 전체 1,461,277프레임 로드 검증 100% 통과(800/800 샘플). house 단위 val split(train 14,567 / val 460, 3.1% — 씬 누수 방지).
지시문 재작성 버그 발견·수정 — h5 obs_scene.task_description이 여전히 "Pick up the X and place it next to the Y"였음. 친구팀의 08-31 수정은 augment.json에만 반영돼 실제 로더가 읽는 필드에는 닿지 않았던 것 — 변환 시 "Place the X next to the Y"로 재작성(집기 접두 0/400 확인).
혼합비 A안 확정 — main 0.30 / Pick 0.15 / PnP-p0 0.10 / NextTo 0.15 / Color 0.10 / place 0.20(=10k step 기준 0.36 epoch, 프레임 기준 전체의 0.7%). pi05_mlspaces_mix/10000 체크포인트에서 이어 학습.
job 105831 제출(own 8GPU, PLACE=1, 10k step) — 현재 RUNNING(경과 2h+), own quota 전부 점유 중.

오늘 할 일

job 105831 완료 모니터링 — eval 로그의 Total count: 200 반드시 확인(Success rate 단독 신뢰 금지, 확립된 함정 #14).
goal image 미연결 상태 해소(3번째 이미지 슬롯) — place 트랙의 진짜 강점을 살리려면 로더+모델 코드 양쪽 작업 필요.
평가 수단 부재 해결 — PnP/NextTo HardBench는 hand-off 배치 성공률을 측정 못 함. val 460편 open-loop 오차 또는 2-stage 파이프라인 자체 평가 검토.

flex-pi High

Flex-π(6B multi-stream WAM) — clean-50 10-epoch 리더보드 학습 완주, ckpt selection sweep은 quota 경합으로 대기

0Commits

0Docs

8SLURM Jobs

0RUNNING

어제 한 일

clean-50 10-epoch 본 학습 완주(job 105354, own 8GPU) — 1일 1h11m39s 만에 COMPLETED(오늘 06:54 종료). RoboTwin 2.0 공식 리더보드 프로토콜(clean-50 2,500 demo 전용 학습) 산출물 runs/robotwin_clean50/clean50_10ep/.
텍스트 임베딩 캐시 재인코딩(job 105127, own 4GPU, 8m03s) + smoke 재검증(job 105235, own 8GPU, 21m27s) — 둘 다 COMPLETED, 본 학습 진입 전 파이프라인 재확인.
체크포인트 선택 sweep 착수 — 5개 ckpt(step 6000/8000/9000/10000/10960) × RoboTwin 8-task 서브셋(lift_pot·click_bell·adjust_bottle 등, 25 ep/task, own 8GPU × isaac-lab 컨테이너) 제출. own quota가 MolmoBot job과 부딪혀 2건(006000/008000) 본인 직접 취소, 3건(009000/010000/010960) QOSMaxCpuPerUserLimit로 PENDING.

오늘 할 일

MolmoBot job 105831 종료 후 c50sel sweep 3건 재개 모니터링(own quota 확보 시 자동 시작).
ckpt 선택 완료 → 리더보드 프로토콜 50-task 전체 평가(c2c/c2r)로 이어짐.

scene_bench Medium

SceneMem-Bench — restore family 스키마 지원 복구, 오픈 3모델 restore 카나리아 평가 제출(quota 대기)

1Commits

0Docs

3SLURM Jobs

0RUNNING

어제 한 일

커밋 251ace1 feat(eval): restore family support for v1 final schema (3 files, +36/−13)
restore family 카나리아 평가 3건 제출 — Qwen3-VL-8B-Instruct / Cosmos-Reason2-8B / Molmo2-8B, 각 vLLM 자체 서빙(own 1GPU), V1_FAMILIES=restore V1_TEST_LIMIT=1 스모크. 전부 PENDING(QOSMaxMemoryPerUser — own quota를 MolmoBot job이 점유 중).

오늘 할 일

own quota 확보 후 카나리아 3건 실행 → 통과 시 restore family 전량 스윕으로 확장.
MolmoBot job 종료 대기 — 현재 own 8GPU 전부 점유로 실행 불가.

SLURM 요약

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
105127	flex-pi	flexpi_txtcache텍스트 임베딩 캐시 재인코딩	4	COMPLETED	8m03s	own
105235	flex-pi	flexpi_c50_smokeclean50 학습 파이프라인 smoke 재검증	8	COMPLETED	21m27s	own
105354	flex-pi	flexpi_c50_trainclean-50 10-epoch 리더보드 본 학습 — 완주	8	COMPLETED	1d01h11m	own
105831	MolmoBot	pi05placemolmo-augment place 트랙 통합 학습 — mix@10k init, 10k step	8	RUNNING	2h07m+	own
106212	scene_bench	rcan_qwenQwen3-VL-8B restore family 카나리아	1	PENDING	—	own(대기)
106213	scene_bench	rcan_cosmosCosmos-Reason2-8B restore family 카나리아	1	PENDING	—	own(대기)
106214	scene_bench	rcan_molmo2Molmo2-8B restore family 카나리아	1	PENDING	—	own(대기)
106481	flex-pi	c50sel_006000ckpt step 6000 선택 sweep — 본인이 직접 취소	8	CANCELLED	0s	own
106482	flex-pi	c50sel_008000ckpt step 8000 선택 sweep — 본인이 직접 취소	8	CANCELLED	0s	own
106483	flex-pi	c50sel_010960ckpt step 10960 선택 sweep	8	PENDING	—	own(대기)
106484	flex-pi	c50sel_009000ckpt step 9000 선택 sweep	8	PENDING	—	own(대기)
106485	flex-pi	c50sel_010000ckpt step 10000 선택 sweep	8	PENDING	—	own(대기)

PENDING 6건(scene_bench 3 + flex-pi 3) 전부 QOSMaxCpuPerUserLimit/QOSMaxMemoryPerUser 사유 — MolmoBot job 105831이 own quota(core 8 GPU 상한)를 전부 쥐고 있어서다. GPU-Hours(~222h)는 flex-pi 105354(≈202h)가 대부분, 105831은 RUNNING이라 부분 시간만 반영.

오늘의 우선순위

TL;DR

프로젝트별 진행 상황

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

SLURM 요약

활동 없음