Daily Progress — 2026-09-01

오늘의 우선순위

flex-pi — clean-50 리더보드 학습 RUNNING, 완료까지 모니터링. 데이터 다운로드(28/28 chunk, ~11h) → 텍스트 캐시(137,507 프롬프트, job 105127) → smoke(job 105235, loss 2.91→0.58) 3단계 검증을 오늘 새벽 전부 통과하고 job 105354(10-epoch 본 학습, own 8GPU, `--time 1-14:00:00`)를 05:43 KST에 제출 — 지금도 RUNNING(경과 3h18m, 예산 ≈25h). 완료 전까지 새 8GPU own 사이클 착수 금지. ckpt 6k/8k/11k 확보 시 소수 task 평가로 선택 필요.
tau-0-wm — RoboTwin 2.0 리더보드 3지표 확정, 다음 레버로 전환. c2r 잔여 42 units를 4-way 분할(job 103407/103408/104018/104019)로 어제 전부 완주 — c2c 70.68% / c2r 33.15% / 평균 51.91% 확정. 동일 task를 randomized로 평가하면 run1(랜덤화 학습) 51.32% vs run4(clean 전용 학습) 33.07%로 갭의 절반이 "학습 분포에 랜덤화 부재" 문제임을 수치로 분리 — HTML 리포트 갱신 후 ACVS RoboTwin posttrain(~17h) 착수가 다음 순서.
scene_bench — 7모델 격자 완성, G1 게이트 모델 종속성 발견. 오픈소스 3종(Qwen3-VL-8B·Cosmos-Reason2-8B·Molmo2-8B) 자체 서빙 평가를 API 비용 $0(≈12.4 GPU·h)로 완주 — G1(blind≤chance) 방어 게이트가 모델 종속임을 발견(cosmos·molmo2는 정보적 사전확률 추측으로 FAIL). 최고 오픈 비오라클 .393 vs 최고 API .656. chance 재계산(open 526행 기준)으로 G1 각주 보강 후 scene_bench_paper 핸드오프 반영이 다음 단계.
MolmoBot — molmo-augment 검토 완료, 결정적 실험 승인 대기. place 구간만 자른 증강 데이터(15,043편/121GB) 전수 해부 — 포맷은 무수정 호환이나 goal image를 pi0.5가 못 쓴다(3번째 슬롯이 사전학습 내내 zeros+mask=False로 고정). 같은 NextTo 계보 37k eps가 이미 무효과였는데 이번은 15k로 더 적어 기대치 낮음 — 가장 싼 결정 실험(aux 0.1 / 10k step, 학습 ~6h)만 사용자 승인 대기.

TL;DR

활동은 4개 프로젝트(flex-pi, tau-0-wm, scene_bench, MolmoBot)에 집중 — 커밋 4건(전량 scene_bench), SLURM 37건(~238 GPU-h), 현재 RUNNING 1건(flex-pi 본 학습). scene_bench_paper·cosmos·X-WAM_MoT는 이번 기간 무활동.
tau-0-wm: RoboTwin 2.0 공식 리더보드 3지표 확정 — c2c 70.68% / c2r 33.15% / 평균 51.91%. 도메인 랜덤화 미학습이 갭(−37.5pp)의 절반 원인임을 대조 실험으로 분리, 낮았던 학습 loss가 과적합 신호였음도 확정.
scene_bench: API 4모델 + 자체 서빙 오픈소스 3모델(Qwen3-VL/Cosmos-Reason2/Molmo2, 전부 8B) = 7모델 격자 완성. 8B에서는 G1 방어 게이트가 모델별로 달리 작동하고(사전확률 추측 문제), "메모리를 만들수록 나빠진다"는 새 발견 추가.
flex-pi: clean-50(리더보드 프로토콜) 학습 파이프라인 3단계 검증(다운로드→텍스트캐시→smoke) 완주 후 10-epoch 본 학습을 오늘 새벽 제출 — 현재 8GPU own으로 RUNNING.
MolmoBot: 신규 증강 데이터셋(molmo-augment) 검토 결과 pi0.5 아키텍처 제약(goal image 미사용)으로 기대 효과 낮음 결론, 저비용 검증 실험만 제안한 채 대기.

프로젝트별 진행 상황

flex-pi High

Flex-π(UW/AI2, 6B multi-stream WAM) — clean-50(RoboTwin 2.0 리더보드 프로토콜) 학습 파이프라인 검증 완료, 10-epoch 본 학습 RUNNING

0Commits

1Docs

3SLURM Jobs

1RUNNING

어제 한 일

clean-50 데이터 다운로드 완주(28/28 chunk, RGB·depth 각 27,500개, 총 ~11h) — 익명 요청 429(5,000/5분 한도) 발생 후 본인 HF 토큰 전환 + 300s 재시도 루프로 해결.
텍스트 임베딩 캐시 인코딩(job 105127, own 4GPU, 8m03s) — task_index가 프레임 단위로 회전(에피소드당 55–75 paraphrase)함을 발견, clean 2,500 ep이 137,507개 프롬프트 사용.
smoke test 통과(job 105235, own 8GPU, 21m27s) — clean50 map 로드 확인, train set 560,900 clips(전체의 1/11), loss 2.91→0.58(100 step), 8.1s/step @ eff batch 512 실측(예산표: 10ep≈25h).
10-epoch 본 학습 제출(job 105354, own 8GPU, `--time 1-14:00:00`) — 05:43 KST 시작, 출력 runs/robotwin_clean50/clean50_10ep/, save_every 1000 → ckpt ~11개 예정. 현재 RUNNING.

오늘 할 일

job 105354 진행 모니터링 — 완료까지 own 8GPU 점유 지속, 새 GPU 사이클 착수 금지.
ckpt step 6k/8k/11k 확보 시 소수 task 평가로 선택 → 리더보드 프로토콜 평가(upstream step limit 교체) + P-C regime 대조로 이어짐.

tau-0-wm High

τ₀-World Model(VAM) — RoboTwin 2.0 공식 리더보드 프로토콜 3지표(c2c/c2r/평균) 확정

0Commits

1Docs

4SLURM Jobs

0RUNNING

어제 한 일

c2r 잔여 42 units 완주 — task 4분할(job 103407/103408 A·B own+extra, 104018/104019 C·D own+extra, 각 8GPU·~6h) 전량 COMPLETED, 최종 4,580 rollout(37/50 task n=100).
리더보드 3지표 확정: c2c 70.68%(4,990 rollout, 49/50 task n=100) / c2r 33.15%(4,580 rollout) / 평균 51.91%. 미완료 42 units는 최하위 SR task에 몰려 c2r 불확실성 <1pp로 계산해 추가 라운드 없이 마감.
원인 분리 확정 — 동일 44 task를 둘 다 demo_randomized로 평가: run1(randomized-500 학습) 51.32% vs run4(clean-50만 학습) 33.07%, Δ18.2pp. 즉 c2c→c2r −37.5pp 중 절반은 "randomized가 어려워서"가 아니라 "학습에 randomized가 없어서".
학습 중 관찰한 낮은 loss_action(0.0137 < run1의 0.031)이 성능 신호가 아니라 clean 분포 과적합 신호였음이 수치로 확정.

오늘 할 일

HTML 리포트를 run4 최종 c2c/c2r/평균 수치로 갱신(현재 run1 baseline만 반영).
다음 레버 착수: ACVS RoboTwin posttrain(runner/posttrain_sim.py, ~17h) — 선택기 도메인 미스매치(보상 상관 −0.14) 해소 시도.

scene_bench High

SceneMem-Bench(scene-level 장기기억 벤치마크) — 오픈소스 3종 추가로 7모델 격자 완성, G1 게이트 모델 종속성 발견

4Commits

5Docs

30SLURM Jobs

0RUNNING

어제 한 일

오픈소스 3종 자체 서빙 평가 완주(Qwen3-VL-8B·Cosmos-Reason2-8B·Molmo2-8B, job 104828/104829/104835, own 1GPU 각각 3h24m/4h24m/4h00m, API 비용 $0 ≈12.4 GPU·h) — 카나리아 1편 사전 검증이 생성 폭주·role 미지원·컨텍스트 초과·서버 hang 등 사고 6건을 GPU 수십 시간 낭비 전에 차단.
7모델 격자 완성(e987b40f, hidden 제외 open 526행) — G1(blind≤chance) 게이트가 모델 종속임을 발견: qwen(.284) 근소 PASS, cosmos(.387)·molmo2(.319) FAIL(정보적 사전확률 추측 + 무기권). 최고 오픈 비오라클 .393(cosmos frames) vs 최고 API .656(flash-3.7 vis), Δ.26. "쓰기가 병목" 결론이 8B에서 극단화 — 텍스트 메모리 전략(rf-v2/v3·tagmem)이 blind보다도 아래(.10~.22)로 붕괴.
본표 채점 범위 확정: hidden 63행 제외(open 526행)로 결정 — flash-3.7의 2위 스왑(tagmem↔frames) 외 4모델 결론 전부 불변.
I/O 인스펙터 페이지 제작(예시 3편 전수 검수, 1.45MB + 미디어 22MB) — 격자 수치의 원문 근거(7모델×7전략 raw 응답, 사진·영상)를 사람이 직접 검수 가능하게.
4 commits(I/O 인스펙터·open-VLM 문서화·서빙 파이프라인·hidden 제외 결정).

오늘 할 일

chance 계산을 e987b40f open 526행 기준으로 재산출 → G1 각주 보강(여유 .006로 좁아짐).
7모델 격자를 scene_bench_paper 핸드오프 문서에 반영.

MolmoBot Medium

pi0.5 × MolmoSpace finetuning — 신규 증강 데이터셋(molmo-augment) 검토, 결정적 실험 제안

0Commits

1Docs

0SLURM Jobs

0RUNNING

어제 한 일

`Keh0t0/molmo-augment`(place 트랙) 전수 검토 — NextTo 원본에서 place 구간만 자른 15,043편/121GB(고유 house 4,971) 통계 + 4편 심층 h5 디코딩. 절단 일관성 확인(clip 평균 95.4프레임, 원본 대비 보존율 32.1%), action/state 규약 원본과 동일(파이프라인 무수정 호환), 원본 NextTo 지시문이 h5에 그대로 보존됨을 실측.
기대 효과 낮음으로 결론 — pi0.5 3번째 이미지 슬롯(goal image용)이 사전학습 내내 zeros + mask=False로 고정돼 goal 조건화 자체가 불가능. 같은 NextTo 계보 37,392편(가중치 0.2)이 이미 4개 ckpt에서 무효과였는데, 이번 데이터는 15,043편으로 그때보다 적어 기대치가 더 낮음.

오늘 할 일

가장 싼 결정 실험 제안: aux weight 0.1 / 10k step 학습(~6h) 후 mix v2@10k(Pick 21.0 / PnP 37.0 / NextTo 14.0) 대비 비교 — 착수 여부 사용자 결정 대기.
NextTo 무변화 원인 규명(파지 실패 vs 배치 위치 오류 분류)이 여전히 최우선 미해결 과제.

SLURM 요약

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
105127	flex-pi	flexpi_txtcacheclean50 텍스트 임베딩 캐시 인코딩 — 137,507 프롬프트	4	COMPLETED	8m03s	own
105235	flex-pi	flexpi_c50_smokeclean50 학습 smoke — 100 step, loss 2.91→0.58, 8.1s/step 실측	8	COMPLETED	21m27s	own
105354	flex-pi	flexpi_c50_trainclean50 10-epoch 본 학습 — 05:43 KST 시작, 예산 ≈25h	8	RUNNING	3h18m+	own
103407 / 103408	tau-0-wm	tau_rt_c2rA / tau_rt_c2rBc2r 평가 task 분할 A/B — 잔여 units 완주분	8	COMPLETED×2	~6h01m / ~6h01m	own+extra
104018 / 104019	tau-0-wm	tau_rt_c2rC / tau_rt_c2rDc2r 평가 task 분할 C/D — 완주로 458/500 units 확보, 리더보드 3지표 확정	8	COMPLETED×2	~6h00m / ~6h01m	own+extra
104040-104043	scene_bench	v1delta_sonnet/flash36/flash37/luna델타 재측정 1차 제출 — 전략 인자 all 오류로 즉시 취소, 104068-71로 정정 재제출	0 (CPU)	CANCELLED×4	~1분	own
104068-104071	scene_bench	v1delta_sonnet/flash36/flash37/lunae987b40f 릴리즈 델타 4모델 정정 재측정 — 전부 완주	0 (CPU)	COMPLETED×4	0h57m~1h28m	own+extra
104153-104156	scene_bench	v1delta_*_cached2검산 보강분 재질의(누락 21행) — 전부 완주	0 (CPU)	COMPLETED×4	0h41m~1h27m	extra
104709-104801	scene_bench	canary_qwen3vl8b / canary_cosmosr2* / canary_molmo2*오픈 3종 vLLM 서빙 카나리아·프로브 14 jobs — 형식 호환 사고 6건 발견·수정(max_tokens·role·컨텍스트 상한 등)	1	COMPLETED×9 CANCELLED×5	<1h10m 각각	own
104828	scene_bench	v1open_qwen3vl8bQwen3-VL-8B 전량(e987b40f 100편×7전략) — greedy, cap8	1	COMPLETED	3h24m19s	own
104829	scene_bench	v1open_cosmosr2Cosmos-Reason2-8B 전량 — 추론 장문(16384 토큰), HF_HUB_OFFLINE	1	COMPLETED	4h24m04s	own
104835	scene_bench	v1open_molmo2Molmo2-8B 전량 — system 접기+user 병합, trust-remote-code	1	COMPLETED	3h59m36s	own

scene_bench의 v1delta_*/canary_*/v1open_* 잡은 API·vLLM 자체 서빙 평가 — 델타 재측정 8건은 --gres=gpu:0(CPU-only, API 호출), canary/v1open은 자체 서빙이라 1GPU. GPU-Hours 합계(~238h)는 tau-0-wm 시뮬 평가(~192h)가 대부분, flex-pi(~30h)·scene_bench vLLM(~16h)이 나머지. flex-pi 105354는 RUNNING이라 부분 시간만 반영.

오늘의 우선순위

TL;DR

프로젝트별 진행 상황

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

SLURM 요약

활동 없음