Daily Progress — 2026-09-10 (Thu)

RUNNINGMolmoBot — press 기준선 학습/평가 press_mbot_own(job 115551, n0, 1GPU, 3h01m 경과) 진행 중, press_eval_own(115549)·press_base_own(115548) PENDING 대기. 직전까지 press_pi05_place_oc_nogoal·press_pi05_press 등 18건이 CANCELLED, 5건이 PREEMPTED — 설정 조정 끝에 own QOS로 안정화된 것으로 보임. 완료 시 pi0.5(place_oc@20k) vs MolmoBot(no-goal@10k) press 비교 결과 확인이 오늘 최우선.
lingbot-va — RoboTwin unseen-7 hold-out 7개 과제 전부 완료(jobs 113730-113736), 평균 27.86% vs 논문 baseline 17.45% (+10.4pp) 확정. 그러나 이 결과가 어디에도 기록되지 않았다 — context.md는 09-08 02:07("job 112772 RUNNING") 상태로 이틀째 정체, 분석 문서 없음, eval 하네스·packing/clip 수정 코드 전부 미커밋. 오늘은 문서화·커밋이 실험 자체보다 급하다. move_stapler_pad(-22.3pp)·stack_blocks_three(0%) 원인 조사도 남음.
scene_bench — online exec-SR 정본 격자(670plan, $42.84) 완주로 "메모리가 blind를 이긴다"를 4개 전략 전부에서 통계적으로 처음 확정(McNemar p<0.0001~0.029). 동시에 커밋 872008b 이후 모든 온라인 실행을 첫 서브골에서 즉사시키던 치명적 버그(policy 변수 섀도잉)를 발견·수정했다. 오늘은 find 잔여 455질의(≈$145) 확장 여부와 restore 온라인 트랙 착수 여부 결정이 필요하다.
Zero-WAM — RoboTwin 43/7 split이 "모든 태스크가 언어로 완전 명세되어 반증 불가능"하다는 구조적 결론에 도달, 커스텀 모호성 벤치마크 설계 착수(계열 A~D). 오늘은 재학습 없이 stamp_seal 프롬프트 재작성 대조부터 저비용으로 시작.

1.TL;DR

lingbot-va: RoboTwin unseen-7 zero-shot 평가 전 과제 완료 — 평균 27.86%(paper 17.45%, +10.4pp), 5개 과제는 큰 폭 초과지만 move_stapler_pad(-22.3pp)·stack_blocks_three(0%) 2건은 미달. 결과가 git 커밋도 claude 문서도 없이 SLURM 로그로만 존재 — 로깅 위생 문제.
scene_bench(커밋 12건, +1407/-57): online exec-SR에서 메모리가 blind를 이긴다는 것을 최초로 통계 확정, resume 격자 3모델 완주(≈$119)로 3개 메모리 계열 중 쓰기 병목이 가장 강한 증거로 확인, 재현성을 위협하던 치명 버그 1건 수정.
MolmoBot: press 트랙 61GB·10,129 episode 전처리 완료, open task 실패 원인을 "관절 종류"에서 "학습-평가 물체 불일치"로 재규명(서랍장만 20.5~25.0%, zero-shot 대비 3~4배). SLURM에서 press 기준선 제출 시행착오 20여 건 끝에 own QOS로 안정화, 현재 RUNNING.
Zero-WAM: RoboTwin 43/7 split이 반증 불가능한 벤치임을 확인 — lingbot-va의 동일 27.86% 수치를 재사용해 Zero-WAM 논문 우위가 헤드라인 대비 +29.50pp→+19.09pp로 축소됨을 계산.
FurnitureBench·AI899·RoboTwin·flex-pi·tau-0-wm·scene_bench_paper 6개 프로젝트는 이번 기간 활동 없음.

2.프로젝트별 현황

lingbot-va High

LingBot-VA(AR diffusion 기반 video-action world model) — 트랙 A: RoboTwin 43-seen 일반화 (git 0 커밋, 다수 미커밋 로컬 수정)

어제 한 일

RoboTwin unseen-7 hold-out 평가 전 과제 완료(jobs 113730-113736, seed0×100 rollout, 4.5~18.6h 소요). 논문 3-seed 평균과 비교:

task	ours (seed0)	paper (3-seed)	delta
place_object_scale	34.0%	6.17%	+27.83pp
stamp_seal	4.0%	3.67%	+0.33pp
open_microwave	34.0%	29.33%	+4.67pp
move_stapler_pad	1.0%	23.33%	−22.33pp
place_bread_basket	60.0%	17.33%	+42.67pp
place_empty_cup	62.0%	42.33%	+19.67pp
stack_blocks_three	0.0%	0.00%	0.00pp
AVERAGE	27.86%	17.45%	+10.4pp

seed 1개뿐(계획은 3-seed)이고 과제별 편차 극심(0~62%) — 평균 우위는 확정이지만 통계적으로 얇음.
운영 문제: 이 전체 결과가 claude/*.md 문서에도 git 커밋에도 남지 않았다. context.md는 09-08 02:07("job 112772 RUNNING") 상태로 이틀째 정체 — 학습 완료(09-08 12:24)도, 평가 배선도, 위 결과도 전혀 반영 안 됨. eval 하네스 신규 스크립트 5개 + packing/action-clip 수정 코드(train.py, model.py, lerobot_latent_dataset.py, packing.py, util.py) 전부 미커밋 상태.

오늘 할 일 / 미해결 이슈

unseen-7 결과 분석 문서 작성 + context.md 갱신 (최우선 — 실험보다 로깅이 급함).
move_stapler_pad(-22.3pp)·stack_blocks_three(0%) 실패 원인 조사.
eval 하네스 + packing/clip 수정 코드 커밋.
3-seed 정합을 위한 seed 1/2 확장 여부 결정(추가 1,400 rollout 필요).
Track B(RoboCasa)는 8/12일째 무진전 — extract_latents.py + lingbot-va-base 다운로드 그대로.

scene_bench High

Scene-level long-term memory 벤치마크(SceneMem-Bench) — 데이터 생성기(scene-mem-gen/datagen)는 어제 활동 없음, 벤치마크 본체(scene_bench)만 활발

어제 한 일

Online exec-SR 정본 격자 완성: 670plan(134질의×5전략), $42.84, jobs 114971-115554(다수 preempt 재제출 포함). SR blind .142 vs textlog .328 / frames .231 / rf-v3 .276 / vis-pure .261 — 메모리가 blind를 4개 전략 전부에서 유의하게 이김(McNemar p<0.0001~0.029), 온라인 트랙 최초 확정. 전략 간 순위는 아직 미분리(전 쌍 p>.05).
multi-object 셀(S1+S2, n=43)은 전 전략 붕괴(첫 목적지 적중 .77인데 완주 .07) → 메모리 실패가 아닌 VLA 체이닝 한계로 재해석, 논문 메모리 축 증거에서 제외 결정.
치명적 버그 수정(145c9b3): policy 변수가 writer 딕셔너리로 섀도잉되어 커밋 872008b 이후 모든 온라인 실행이 첫 조작 서브골에서 즉사하던 결함 발견. AST 회귀 테스트 추가, $6.37 검증 런(100행)으로 5개 writer 전부 정상 확인.
Resume(type2) 읽기 격자 3모델 완주(161행×6전략): flash-3.7 $40.97 · sonnet $71.82(선점 후 재개) · luna $6.51, 캠페인 합계 ≈$119. 오라클/최고비오라클 격차 3.7~6.8×(find·restore보다 큼) — 3개 메모리 계열 중 쓰기 병목 최강 증거. rf-v3(재작성 요약)는 3모델 모두 blind와 동률/이하 — "누적 로그는 되고 재작성 요약은 안 된다". press_button 유형은 3모델 전부 rf-v3·tagmem 정확히 .000. visit_rooms 셀은 오라클도 낮음(.419/.290/.258) → 발화에 방 개수 단서가 없는 과제 설계 결함으로 확인.
커밋 12건(+1407/-57 lines).

오늘 할 일 / 미해결 이슈

find 잔여 455질의(≈$145) 확장 여부 — 검정력 분석상 전략 분리엔 n≈2200 필요해 실효성 의문.
restore 계열 온라인 트랙(v1.0 53편+v1.1 47편) 착수 여부 결정.
오픈소스 3종(qwen/cosmos/molmo2) resume 측정, rf-v2(resume 전용) 추가 검토.
resume 하네스 v2 미커밋 — 커밋 필요.
운영 함정 재발 방지: SHARD_BY=plan + N_SHARDS 5배수 조합 시 샤드=전략 매핑되어 샤드 하나 죽으면 전략 통째로 빔.
사용자 결정 대기 2건: Behavior 규칙 출처 채널, Phase 2 test 30채 출처(ProcTHOR 재샘플 vs 기존 확장).

MolmoBot High

pi0.5 × MolmoSpaces / MolmoBot(F=2) goal-conditioned 파인튜닝 (git 0 커밋, 다수 미커밋 로컬 수정 — MolmoBot/MolmoBot-Pi0 서브트리는 자체 .git 없음)

어제 한 일

Open(미닫이) 부분집합 SR 재집계: 관절 실측 기반 재분류(미닫이 143편/여닫이 55편). 전체 open SR 11.1% → 미닫이만 12.6%(소폭). 학습 물체와 정확히 일치하는 서랍장만 20.5~25.0%(zero-shot 6.8% 대비 3~4배) → open 전이는 관절 종류가 아니라 물체 단위로만 일어난다는 결론으로 재규명.
press 트랙 전량 다운로드·전처리 완료: shard 31개(61GB) → press 1,373채/7,466편 + washer 708채/2,663편 = 10,129편 학습 가능 상태 확보. 인덱스 키 버그(job 114400, 산출물 0개) → 원인 수정 후 114403(1분35초)로 재실행 성공. 로더 2종(MolmoBot·openpi) 검증 통과.
open/press 학습·평가 샘플 HTML 갤러리 제작(영상 18편) — press 벤치가 신규 생성이 아닌 held-out 200채 선별임을 확인.
SLURM: press 기준선 제출에서 press_pi05_place_oc_nogoal(10회 시도 중 8 CANCELLED·2 PREEMPTED)·press_pi05_press(8회 시도 전부 CANCELLED)로 반복 실패 — 설정 조정 반복으로 추정. 이후 own QOS로 전환해 press_mbot_own RUNNING, press_eval_own·press_base_own PENDING으로 안정화.

오늘 할 일 / 미해결 이슈

press 기준선 결과 확인: pi0.5(place_oc@20k) vs MolmoBot(no-goal@10k), press 0.10 비율 추가.
open 개선은 서랍장 외 물체(책상·협탁·여닫이 문) 증강 데이터 신규 생성 없이는 한계.
갤러리에 세탁기/건조기 학습 샘플 보강 필요(추가 shard 다운로드 필요).
미해결(이전부터 이월): NextTo 정체 원인 규명, 희석 완화 mixture 변형 학습, part1 5k PnP 재실행(preempt로 n=66 부분집계).

Zero-WAM Medium

Zero-WAM 논문(arXiv:2608.26103) 핵심 주장("human demo = task specification") 검증/재현 (git 0 커밋, SLURM 0건 — 순수 분석/설계 단계)

어제 한 일

RoboTwin 43/7 리뷰 뷰어 HTML 구축(150 mp4, 290KB), asset 커버리지 역인덱스 계산.
핵심 수치 분해: LingBot-VA 17.45% → text-only Zero-WAM 39.44%(+21.99pp, 데이터 효과) → Zero-WAM 46.95%(+7.51pp, video 효과) = 헤드라인 격차의 75%가 데이터, 25%가 video. ZW w/o IFP(28.55%) < text-only(39.44%) → video는 IFP 없이는 오히려 방해가 됨.
자체 재학습 LingBot-VA macro 27.86%(lingbot-va 카드의 unseen-7 평균과 동일 실험, 논문치 17.45%보다 +10.41pp 높음) 반영 시 Zero-WAM 실질 우위가 +29.50pp → +19.09pp로 축소.
2개 과제(place_bread_basket 60.00 vs 35.00, place_object_scale 34.00 vs 24.67)에서 순수 언어 baseline이 full Zero-WAM을 이김. move_stapler_pad 자체 재현 1.00% vs 논문 23.33% — 미재현 경고, 근거 사용 금지 표시.
결론: RoboTwin 43/7 split은 모든 태스크가 언어로 완전 명세되어 있어 "반증 불가능" → 커스텀 모호성 벤치마크 설계안 작성(계열 A~D + 언어 상한/불일치 demo/목표 프레임만/chance 4개 필수 대조군).

오늘 할 일 / 미해결 이슈

stamp_seal 프롬프트 재작성 대조(재학습 불필요, 최우선·저비용).
모호성 스위트 계열 A(임의 타깃 선택, chance=1/3) RoboTwin 위 최소 구현.
move_stapler_pad 롤아웃 영상으로 미재현 원인 확인.

3.활동 없는 프로젝트

RoboTwin repo 자체의 git/문서 활동은 여전히 없지만, 실제 RoboTwin 평가 작업(unseen-7 hold-out)은 lingbot-va 레포에서 계속 수행되고 있다 — 해당 결과는 lingbot-va 카드에 반영했다(중복 방지). FurnitureBench는 09-08 저녁 LingBot action-clip 수정 검증 완료 이후 정지 상태.

4.SLURM 요약

기간 내(2026-09-09 00:00 ~ 09-10 09:00) non-batch job 73건 — COMPLETED 32 · PREEMPTED 17 · CANCELLED 21 · RUNNING 1 · PENDING 2, 총 GPU-h ≈211. (09-09 00:00~09:00 사이 완료되어 어제자 리포트에 이미 반영된 6건 — 113554, 113730, 113731, 113733, 113734, 113735 — 은 중복 방지를 위해 제외했다.)

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
lingbot-va
113732	lingbot-va	rt32k_open_microwave (unseen-7 hold-out, 어제 리포트에선 RUNNING 44%였음 → 완료)	1	COMPLETED	18:38:38	n68
113736	lingbot-va	rt32k_stack_blocks_three (unseen-7 hold-out, 어제 리포트에선 RUNNING 50%였음 → 완료)	1	COMPLETED	16:35:21	n76
MolmoBot (MolmoBot-Pi0 / MolmoBot)
114400	MolmoBot	prep_press (인덱스 키 버그로 산출물 0)	1	COMPLETED	00:07:28	n34
114403	MolmoBot	prep_press2 (버그 수정 후 재실행, 성공)	1	COMPLETED	00:01:35	n52
114509/114510/114591/114592	MolmoBot	press_base_pi / press_base_mbot (기준선 준비, pi 2회 취소·mbot 1회 preempt 후 재시도 성공)	1	CANCELLED→PREEMPTED→COMPLETED→CANCELLED	~00:16-04:49	n58/n65
114512	MolmoBot	pi05_press (press 기준선 학습, 8GPU own)	8	COMPLETED	07:10:03	n32
115134	MolmoBot	mbot_press (press 기준선 학습, 8GPU own)	8	COMPLETED	07:57:53	n3
115135/115136/115157	MolmoBot	press_eval_pi / press_base_pi (평가·기준선 재시도, 2 preempt + 1 취소)	1	PREEMPTED→PREEMPTED→CANCELLED	~00:10-00:11	n65/n69
115160-115329 (10건)	MolmoBot	press_pi05_place_oc_nogoal (설정 조정 반복 — 8 CANCELLED, 2 PREEMPTED)	1	대부분 CANCELLED	~00:00-00:11	다수
115161-115363 (8건)	MolmoBot	press_pi05_press (설정 조정 반복 — 전부 CANCELLED, 제출 직후 취소)	1	CANCELLED	00:00:00	-
115551	MolmoBot	press_mbot_own (press 기준선, own QOS로 안정화 — 진행 중)	1	RUNNING	03:01:26	n0
115548/115549	MolmoBot	press_base_own / press_eval_own (own QOS 대기열)	1	PENDING	00:00:00	-
scene_bench
114826-114999 (13건)	scene_bench	online_pilot — online_w1_s0-s3 (writer 버그 수정 검증, 3차 재시도 끝 성공)	1	PREEMPTED×2, CANCELLED×1, COMPLETED×10	~00:10-01:39	다수
115086-115088/115277	scene_bench	resume grid — resume_flash37(own) / resume_luna(extra) / resume_sonnet(preempt 후 재개)	0(CPU)	COMPLETED, COMPLETED, PREEMPTED→COMPLETED	02:58-04:35	n45/n53/n37→n46
115094-115554 (23건)	scene_bench	online_pilot — online_w2_s0-s9 (exec-SR 정본 격자 10샤드, 반복 preempt 재제출로 완주)	1	PREEMPTED×9, COMPLETED×14	~00:06-04:21	다수

0.오늘의 우선순위

1.TL;DR

2.프로젝트별 현황

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

3.활동 없는 프로젝트

4.SLURM 요약