Daily Progress — 2026-09-04

오늘의 우선순위

FurnitureBench(신규 편입) — pi0.5/LingBot-VA 학습 3잡이 지금 동시 RUNNING, 평가 1잡 PENDING. Isaac Gym B200 bring-up(PTX JIT·conda glvnd·FURNITURE_SIM_CPU_TENSORS=1 우회)을 마친 뒤 가구 4종(one_leg/lamp/round_table/cabinet) 각 300개 scripted 데모 수집을 완료(all_low 통합 1,304 ep)했다. one_leg pi0.5 파인튜닝은 replan 10 채택 후 10k ckpt에서 2/20, 20k에서 1/20 첫 성공을 냈고 30k 학습(job 108562, 1 GPU, 7h31m+)이 RUNNING, 곧이어 4종 통합 all_low 40k 학습(108868, 2h18m+)도 RUNNING. 별도로 LingBot-VA(world-model 계열) 트랙은 worker Triton JIT 컴파일러 부재를 conda gcc로 우회해 학습(108915, 2 GPU, 1h+, 13.3 s/it → ETA 18.5h)이 RUNNING이고 첫 평가잡(108991)이 PENDING이다.
MolmoBot — goal v2(late-attention) 학습·평가 완주, Q2("goal을 어떻게 넣어야 하는가") 답 확정: replace@5cm 3.4%→12.8%. v1(빈 슬롯 goal, 양방향 attention)의 hand-off closed-loop replace 기준선을 먼저 확정(108019/108021/108180: on 3.4% / off 0.9% / wrong 2.6% — 사실상 0)한 뒤, π0.7식 언어 뒤 별도 attention 블록 + 배치 완료 후 관측 카메라 프레임으로 재설계한 v2를 학습(job 107935, own 8GPU, 8h27m)·전 조건 평가했다. 결과: replace@5cm 12.8%, @10cm 36.8%, goal까지 거리 31→13cm, NextTo 24%→54%(전부 p<0.03, McNemar/Wilcoxon). goal 없이 돌리면 v2=v1=place10k로 완전히 동률이라 향상은 전부 goal 주입 방식에서 온다.
flex-pi — RoboTwin 리더보드 프로토콜 5-group 전체 완주 + P-C(demo-scarce world-model 가치) 확정. 5번의 preempt를 겪었던 마지막 그룹(lb_joint_g4)이 6번째 시도 끝에 완주해 clean2clean 90.24 / clean2random 51.12 / avg 70.68(2026-09-01 리더보드 기준 c2c 1위, avg 2위 잠재)를 확정했다. 같은 체크포인트의 action-only 50-task×100ep 대조(own→extra 전환 후 완주)에서 random 성능 Δ+16.18pt(45승 1무 4패)를 확인해 "world-model 스트림의 가치는 task 종류가 아니라 분포이동(OOD) 여부에 달렸다"는 연구계획 P-C 핵심 가설을 첫 확정 데이터로 뒷받침했다.
scene_bench — type2/resume 데이터 최초 수령·검수 + 논문용 "지각 vs 기억" ablation 확정, GPU 없이 커밋 2건. 데이터팀이 처음 올린 type2(resume) 12편을 인스펙터로 전수 검수해 이슈 3건(ablation 문장 body id 누출 24행 등)을 찾았고, Restore ② 태스크의 "물체 정체 모호성" 문제를 "컨텍스트 안에서 두 번 목격시키기"로 해결하는 설계를 확정했다. 논문 핸드오프로는 질의 프레임에 정답이 보이면 blind와 메모리 전략이 거의 같고(0.48 vs 0.46–0.58), 안 보일 때만 메모리가 +0.18~+0.36 이득을 낸다는 표를 완성해 A1 공리("메모리는 지각으로 못 채우는 정보만 채운다")를 실증했다. Cosmos-Reason2-8B 저조 원인도 하네스 결함이 아니라 vocab 불이행+greedy 반복임을 규명.

TL;DR

활동은 4개 프로젝트(FurnitureBench, MolmoBot, flex-pi, scene_bench)에 집중 — 커밋 2건(scene_bench), SLURM 93건(~278 GPU-h), 현재 RUNNING 3건 + PENDING 1건. FurnitureBench가 오늘 리포트에 처음 편입됐고 첫날부터 3개 잡이 동시 RUNNING이다. tau-0-wm·cosmos·X-WAM_MoT·scene_bench_paper는 이번 기간 무활동.
FurnitureBench: B200에서 Isaac Gym FurnitureSim bring-up 완료 → 가구 4종 scripted 데모 1,304 ep 수집 완료 → pi0.5(one_leg 30k, all_low 40k)와 LingBot-VA(world-model 계열) 두 트랙을 동시에 학습 중. 아직 성공률은 낮음(20k replan10 1/20) — 30k·50ep 재평가가 이번 파이프라인 검증의 분기점.
MolmoBot: goal 이미지 조건화 v2(late-attention)가 closed-loop replace 성공률을 3.4%→12.8%로 3.8배 끌어올렸다 — "goal을 넣긴 하는데 효과가 없다"는 어제까지의 결론을 "넣는 방식이 틀렸었다"로 뒤집은 하루.
flex-pi: RoboTwin 리더보드 5그룹 전체 완주(avg 70.68, 2026-09-01 기준 2위권) + action-only 대조로 world-model 가치가 분포이동 상황에서만 발생함을 확정.
scene_bench: GPU 없이 API 콜만으로 데이터 검수·설계·논문 ablation 3건을 진행 — "쓰기 병목"에 이어 "지각 가능하면 메모리 무의미"라는 벤치의 핵심 서사가 한 겹 더 쌓였다.

프로젝트별 진행 상황

FurnitureBench High

FurnitureSim(Isaac Gym) B200 bring-up 완료 → 가구 4종 scripted 수집 → pi0.5 / LingBot-VA 학습 동시 진행 중

0Commits

2Docs

64SLURM Jobs

3RUNNING

어제 한 일

Phase 1&2 완료(bring-up): Isaac Gym Preview 4가 B200에서 PhysX GPU(PTX JIT)·Vulkan(conda glvnd 패키지 부족 해결)까지는 되지만 py3.8 torch에 sm_100 커널이 없어 FURNITURE_SIM_CPU_TENSORS=1 opt-in 패치로 우회. worker 이미지는 libgomp/glib/컴파일러가 없어 conda로 전부 self-contained 해결 — venv-only 정책 유지.
가구 4종 scripted 데모 수집 완료: one_leg 654(304+316+calib)·lamp 320·round_table 320·cabinet 320 (cabinet은 preempt 6회 자동 재제출 끝에 완료) → all_low 통합 1,304 ep / 1,067,625 frames 변환 완료. round_table의 acos(1.0000001)=NaN 크래시(CPU 텐서 모드에서만 노출된 잠재 버그)를 clamp로 수정.
pi0.5 one_leg 학습: replan 5→10 전환으로 첫 성공 확보 — 5k 0/20 → 10k(replan5) 0/20 → 10k(replan10) 2/20 → 20k(replan10) 1/20(n=20 노이즈 범위, 하위지표는 20k 우세). 30k 학습(108562)이 현재 RUNNING(7h31m+), 50ep 재평가로 노이즈 줄일 예정.
all_low(4종 통합) 40k 학습 착수 — 108868 RUNNING(2h18m+).
LingBot-VA(world-model 계열) 트랙 신설: latent 추출·평가 파이프라인 전부 구축, worker Triton JIT을 conda gcc(CC/CXX env)로 우회 성공 → 학습(108915) RUNNING, step 35 action_loss 0.13, 13.3 s/it(5000 step ≈ 18.5h). 서버+클라이언트 e2e 평가 로그인 스모크 통과 → 첫 평가잡(108991) PENDING.

오늘 할 일

one_leg 30k(108562) 완료 대기 → 50ep 평가로 성공률 확정(파이프라인 유효성 판단 분기점).
all_low(108868)·LingBot(108915) 진행 모니터링, 108991 평가 결과로 LingBot 초기 성능 확인.
worker pod Vulkan 주입은 확인됐으므로(/etc/vulkan/icd.d, /dev/dri), num_envs>1 처리량 측정은 미착수 — 필요 시 후속.

MolmoBot High

pi0.5 × MolmoSpace finetuning — goal 조건화 v2(late-attention)로 closed-loop replace 성공률 3.4%→12.8%

0Commits

4Docs

20SLURM Jobs

0RUNNING

어제 한 일

v1 replace 기준선 확정(108019/108021/108180, 각 ~3h): 새로 도입한 replace@5/10/15cm 지표(놓았음 ∧ goal 위치까지 xy≤r ∧ |dz|≤5cm)로 v1(빈 슬롯 goal) 재평가 — on 3.4% / off 0.9% / wrong 2.6%, NextTo(구 기준) 23.9%였던 것과 달리 사실상 goal 자리 복원은 0. 진단 2잡(ho_goal_wrong/late, 어제 리포트 시점 RUNNING)도 완료 — 틀린 goal 19.7%, 늦은 goal 23.9%로 v1의 goal 반영은 약하다는 결론 보강.
goal v2 설계·학습·평가 완주: π0.7(arXiv 2604.15483) 참고해 goal을 언어 뒤 별도 attention 블록(관측·언어는 goal 못 봄, action expert만 봄) + 배치 완료 후 관측 카메라 프레임으로 재설계. 학습(107935, own 8GPU, 8h27m, loss 0.0087) → open-loop val(all L1 0.0619, v1 대비 −28.9%) → closed-loop hand-off(108737-739).
closed-loop 최종 결과(117편, 공통 113편 쌍비교): v2 on replace@5cm 12.8%(15) / @10cm 36.8%(43) / goal까지 거리 중앙값 13.4cm / NextTo 53.8% — v1 on 대비 전부 유의(@5cm p=0.021, @10cm p=7.8e-7). goal off로 돌리면 v2=v1=place10k로 완전 동률(p≥0.18) → 향상은 전부 goal 내용에서 옴.
fp32 K-cache 불변성 검증으로 late-attention 구현이 실제로 비대칭임을 실증(관측·언어 K-cache가 goal on/off 무관 max|diff|=0.000).

오늘 할 일

남은 실패의 40%(5–15cm 근접 실패) 원인 규명 — goal 존재 비율 상향, inference 시 goal 갱신, place 데이터 추가 학습(10k→20k) 등 후보 검증.
off-surface 15%(놓는 높이 판단 실패) — HANDOFF_GOAL_DELAY(retreat 이후 arm 없는 프레임)로 재평가.
실배포 강건성: 벤치의 goal은 "같은 카메라·배치 직후"라는 최적 조건 — 다른 시점/포즈 goal에 대한 강건성 평가 필요.

flex-pi High

Flex-π(6B multi-stream WAM) — RoboTwin 리더보드 5-group 완주(avg 70.68) + P-C(demo-scarce world-model 가치) 확정

0Commits

1Docs

9SLURM Jobs

0RUNNING

어제 한 일

리더보드 프로토콜(50task×clean/random×100ep) 5그룹 전체 완주 — 5회 preempt 겪던 g4가 6번째 시도(lb_joint_g4, 5h15m)로 완료. 최종 clean2clean 90.24 / clean2random 51.12 / avg 70.68 — 2026-09-01 기준 리더보드에 놓으면 c2c 1위(+7.3pt vs OLA-Geo 82.96), avg 2위(−0.66pt vs OLA-Sem 71.34). optix 디노이저(리더보드는 OIDN) 차이는 <1pt로 바운드, 미제출 수치임을 명시.
action-only vs full-joint 50task×100ep 정식 대조 완료 — own quota 경합으로 1차(107882-885) 취소 후 extra로 재제출(108130-133) 완주. clean 동률(Δ+0.68, 18승11무21패), random Δ+16.18pt(45승 1무 4패) — 논문의 "action-only≈joint" 결론은 in-distribution 한정, demo-scarce+분포이동에서는 world-model 스트림이 확실한 가치를 냄(P-C 확정).
지연 비교: joint 304.5ms/call vs action-only 200.7ms(1.52×) — OOD 감지로 regime을 전환하면 정확도 손실 없이 지연 34% 절감 가능(oracle 상한).

오늘 할 일

P-B(presence 축: DINO/pointmap만 생성하는 중간 regime)·E0′ oracle-gap 실험 착수(~100 GPU-h/regime).
OOD 트리거 신호 후보 검증 — clean vs random 에피소드의 첫 DiT block cos-sim 분리도(추가 학습 없이 로그만).
OIDN 2.3.x 드롭인으로 디노이저 재현성 정량화(소규모 8task×100ep).

scene_bench High

SceneMem-Bench — type2/resume 데이터 최초 검수 + "지각 vs 기억" ablation 확정, GPU 미사용

2Commits

8Docs

0SLURM Jobs

0RUNNING

어제 한 일

커밋 2건 ab6e2b9 analysis: cosmos-r2-8b underperformance, 1a08f18 docs: restore I/O inspector page.
type2(resume) 데이터 최초 수령·인스펙터 구축 — 데이터팀이 처음 올린 12편(11하우스, 165.5분, resume 48행+cue ablation 96행)을 8배속 영상+cut 마커 페이지로 전수 검수. 이슈 3건: 🔴 ablation press_button 24행에 가전 body id 그대로 노출, 🟠 L2 세그먼트 instruction 고정 문자열 113건, 🟠 README에 resume 절 여전히 없음.
Restore ② task 설계 확정 — "안 볼 때 옮겨진 물체의 정체를 로봇이 어떻게 아는가" 문제를, 컨텍스트 안에서 물체를 두 번 목격시키는 구조(A에서 목격→못 본 이동→B에서 재목격→"처음 자리로", 정답 A·미끼 B)로 해결. Direct ①(로봇이 옮김)과 정확히 대칭 설계.
논문 핸드오프: 가시성 ablation — find 질의 526행을 질의 프레임 가시(seen)/비가시(unseen)로 분할, seen에서는 blind(0.48)≈메모리 전략(0.46–0.58), unseen에서만 메모리가 +0.18~+0.36 이득을 실증(A1 공리 검증). 최근성과 독립적임도 확인.
Cosmos-Reason2-8B 저조 원인 규명 — 하네스 결함 아님. 이미지/파서/메모리 재사용 전부 정상, 실제 원인은 (a) 어휘 목록 불이행(GT 밖 값 사용) (b) greedy 디코딩의 반복 루프(3.2%) (c) writer가 방 정보를 누락해 텍스트 메모리 기권. 파싱 성공 행만 보면 오픈 3종 중 최강.
restore I/O 인스펙터를 find와 같은 형식으로 확장(질의 14개, 686셀, 4편).

오늘 할 일

데이터팀에 이슈 3건(ablation body id, instruction 고정 문자열, README) 전달·수정 대기.
resume 러너 구현(컨텍스트 프레임 컷 입력 → 남은 r개 유닛 실행, 정확히 r개 채점, control 7행 분리).
task grid(Direct/Stateful) 채택 여부 + routine(D) 규칙 출처 — 사용자 결정 대기 항목 누적.

SLURM 요약

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	QOS
107970-983→994-997	FurnitureBench	fb_calib_{low,med}_t{600,1000}calibration — worker lib(libgomp/glib) + 컴파일러(gxx_linux-64) 부재 2회 수정 후 3차 성공	1×12	COMPLETED	2-33m each	extra
108096→110/111	FurnitureBench	fb_main_one_leg_low_A/Bone_leg 300 scripted 수집 — 1차 취소 후 A/B 분할 재제출, 654개 확보	1×4proc	COMPLETED	2h34m/2h58m	extra
108097-099/105	FurnitureBench	fb_calib_{cabinet,lamp,round_table}_low가구별 calibration(round_table은 acos NaN 크래시 후 재실행)	1	COMPLETED	20m-1h42m	extra
108154/155	FurnitureBench	fb_main_lamp_low_A/Blamp 300 scripted 수집	1	COMPLETED	2h20m/2h34m	extra
108156-158	FurnitureBench	fb_main_round_table_low_A/B/Cround_table 300 scripted 수집	1	COMPLETED	3h10m-3h25m	extra
108159-163→210→218-393	FurnitureBench	fb_main_cabinet_low_A~Ecabinet 300 scripted 수집 — preempt 6회, 자동 재제출로 완주	1	COMPLETED	누적 ~15h	extra
108281/394/461/741/742	FurnitureBench	fb_convert_{one_leg,lamp,round_table,cabinet,all}pkl→LeRobot 변환(CPU-only) — all_low 1,304 ep 통합	0	COMPLETED	16m-1h52m	extra
108379→392→455→562	FurnitureBench	fb_train_one_leg_v1pi0.5 30k step — preempt 2회(norm stats·wandb TLS 수정), 4차 시도 RUNNING	1	RUNNING	7h31m+	extra
108565/578/600/717/748→773/881	FurnitureBench	fb_eval_one_leg_{5k,10k,20k}체크포인트 평가 — 5k/10k(replan5) 0/20 → 10k(replan10) 2/20 → 20k 1/20	1	COMPLETED	51s-27m	extra
108868	FurnitureBench	fb_train_all_v14종 통합 pi0.5 40k step 학습 착수	1	RUNNING	2h18m+	extra
108669→674→681	FurnitureBench	fb_lingbot_latents_one_legLingBot-VA latent 추출(CUDA 텐서 저장 버그 수정 후 재실행)	1	COMPLETED	2h37m	extra
108687→903→915	FurnitureBench	fb_lingbot_train_one_legLingBot 학습 — set -e 버그로 2회 즉시종료, Triton JIT 컴파일러(conda gcc) 수정 후 3차 RUNNING	2	RUNNING	1h00m+	extra
108991	FurnitureBench	fb_eval_lingbot_one_leg_latestLingBot 첫 평가(최신 ckpt 자동 선택)	1	PENDING	-	extra
107752/753	MolmoBot	ho_goal_wrong/ho_goal_latev1 진단 완료 — 틀린 goal 19.7%, 늦은 goal 23.9%	1×2	COMPLETED	2h57m-3h03m	extra
107935	MolmoBot	pi05plgoalv2goal v2(late-attention) 학습, loss 0.0087	8	COMPLETED	8h27m	own
108019/021/180	MolmoBot	ho_v1on/off/wrong_r2v1 replace 기준선 확정 — on 3.4% / off 0.9% / wrong 2.6%	1×3	COMPLETED	2h58m-3h00m	extra
108535-537→567/568	MolmoBot	val_v2_5k_on/off/wrongv2 5k 조기 open-loop 확인 — v1@10k 수준에 5k만에 도달	1×3	COMPLETED	11m-58m	extra
108734-736	MolmoBot	val_v2_on/off/wrongv2 10k open-loop val — all L1 0.0619(최저치)	1×3	COMPLETED	27m-43m	extra
108737-739	MolmoBot	ho_v2on/off/wrongv2 closed-loop 최종 — replace@5cm on 12.8% (v1 대비 3.8배)	1×3	COMPLETED	2h57m-2h59m	extra
107659	flex-pi	lb_joint_g4리더보드 group 4 — 5회 preempt 뒤 6차 시도 완주(어제 리포트 시점 RUNNING)	2	COMPLETED	5h15m	extra
107882-885	flex-pi	lb_act_g1-4action-only 50task×100ep, own quota 시작 — 34/100 유닛 진행 후 경합으로 취소	2×4	CANCELLED	6h15m-6h16m	own
108130-133	flex-pi	lb_act_g1-4action-only 재제출(extra, RESUME_DIR 이어받기) — P-C 확정: random Δ+16.18pt	2×4	COMPLETED	5h42m-7h09m	extra

표는 93건(제출 잡, .batch 서브잡 제외 · MolmoBot/flex-pi는 어제(260903) 리포트와 겹치는 09-03 새벽 이전 잡 제외)을 잡 이름 단위로 그룹핑한 것. 화살표(→)는 preempt/버그로 인한 재제출 체인, 굵게 표시된 job ID가 현재 상태. 총 GPU-Hours ≈278h(flex-pi 리더보드·MolmoBot 8GPU 학습·FurnitureBench 다수 1GPU 수집잡 합산).

오늘의 우선순위

TL;DR

프로젝트별 진행 상황

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

어제 한 일

오늘 할 일

SLURM 요약

활동 없음