Daily Progress — 2026-09-09 (Wed)

RUNNINGlingbot-va — RoboTwin unseen-7 hold-out 평가 2건 진행 중: rt32k_open_microwave(job 113732, n68, 44% 완료·8h16m 경과, --time 20h 대비 여유 촉박, 완료 예상 오늘 19:00경) / rt32k_stack_blocks_three(job 113736, n76, 50%, 완료 예상 오늘 17:20경). 완료 후 summarize_seen43.py로 unseen-7 평균 산출 → 논문 baseline 17.45%와 비교, 특히 move_stapler_pad 1.0%(논문 23.33%, 유일한 대폭 미달)의 원인 분석이 필요하다.
FurnitureBench — LingBot action-clip 버그(회전축 타깃 절단) 제거 후 재학습·검증까지 하루 만에 완주, one_leg 0%→13.3%로 "다부품 통합 학습이 성능을 깎는다"는 09-07 결론을 철회했다. 오늘은 4000-step checkpoint 정식 평가(one_leg 30ep + 나머지 10ep) 확정과, pi0.5(36%) 대비 여전한 격차(13.3%)의 원인(추론 재계획 간격 12 vs 10-step) 조사가 남았다.
scene_bench — exo 카메라 벽관통 버그는 0%까지 완전히 잡았다(자세한 내용 카드 참조). 오늘 결정 필요: resume 100편 검수에서 나온 오라클 미완주 27/161행(16.8%)을 제외할지 재롤아웃할지, online find500의 이미지예산 버그 수정 후 재측정 여부.
MolmoBot — open task 실패 원인이 "초기자세"가 아니라 "학습-평가 물체/관절 종류 불일치"로 재규명됨. press 평가벤치(200편/200채) 신설 완료 → 오늘은 기준선 측정(pi0.5 20k · MolmoBot no-goal 10k, 각 1GPU 4-6h)을 제출해야 한다.
AI899 — RoboCasa 에셋 27.5GB→494MB(98% 감소) 경량화 + Colab 커널 다리 검증 11 PASS. 사용자의 최신 v2(설정 적용판) Colab 실사용 재검증 결과 대기 중.
scene_bench_paper — restore 데이터 518→575행 확장(S② stateful distractor 추가, 오라클 완전 무력화 확인). §5 논문 표 갱신 및 미커밋 HANDOFF 문서 정리가 남음.

1.TL;DR

FurnitureBench: LingBot action head의 np.clip(±1.5)가 회전축 타깃을 잘라 실행 천장을 데모 요구치의 29~38%로 묶고 있었음을 진단→제거→재학습(own 8GPU 6h45m)→통계검증까지 하루에 닫음. one_leg 0/30→4/30(13.3%), Fisher exact 유의(p=0.0048) — "부정 전이" 결론 철회. 단 pi0.5(36%) 대비 열세는 유지.
lingbot-va(GPU-h 최대 ≈128): RoboTwin 43-seen 32k-step 학습 완주(8GPU, 10h24m) 후 unseen-7 hold-out 평가 7건 병렬 제출 — 5/7 완료, 4개는 논문 baseline 대폭 상회(+19.7~+42.7pp)했으나 move_stapler_pad만 대폭 미달(1.0% vs 23.3%). 2건은 아직 RUNNING.
scene_bench(커밋 13건): exo 카메라가 벽 속에 박히는 렌더 결함을 3단계 수정으로 19%→0% 완전 제거. 동시에 resume 100편 전수검수(오라클 미완주 16.8%)와 online find 실험의 SR 정체 원인 3가지(VLA 병목/검정력 부족/기권 비대칭)를 분해.
AI899: Colab 지원 포팅 파이프라인 완성. 저RAM 로더 6배 가속(70.5s→11.4s), RoboCasa 에셋 98% 경량화(27.5GB→494MB) 후 HF 업로드. 실사용 Colab 테스트 3회 반복하며 버그 5건 수정.
MolmoBot: open task 저조(5.6%)의 원인을 "초기자세"에서 "학습-평가 물체/관절 불일치"로 재규명(학습은 미닫이만, 벤치는 여닫이 33% 포함). press 조작 평가벤치 신설.
RoboTwin·flex-pi·tau-0-wm 3개 프로젝트는 이번 기간 활동 없음(마지막 활동 각각 09-07 이전).

2.프로젝트별 현황

lingbot-va High

LingBot-VA(AR diffusion 기반 video-action world model) — 트랙 A: RoboTwin 43-seen 일반화 (git 로컬 6개 파일 수정, 미커밋 — vendor fork)

어제 한 일

RoboTwin seen43(43-task, 2,150ep) zero-shot 학습 32,000 step 완주(job 112772, own 8GPU, 10h24m, latent_loss 0.09~0.13 / action_loss 0.0006~0.0016, grad_norm≈0.05).
평가 하네스 신규 작성: eval_robotwin_task.sh, eval_robotwin_seen43.sh(1-task/1-GPU 병렬 launcher), summarize_seen43.py.
hold-out unseen 7-task를 개별 1-GPU sbatch 7개로 제출(rt32k_*, seed0×100-rollout, isaac-lab:2.2.0 컨테이너). 5/7 완료 — 논문 baseline과 비교:

task	ours	paper	delta
place_object_scale	34.0%	6.17%	+27.8pp
stamp_seal	4.0%	3.67%	+0.3pp
move_stapler_pad	1.0%	23.33%	−22.3pp
place_bread_basket	60.0%	17.33%	+42.7pp
place_empty_cup	62.0%	42.33%	+19.7pp

오늘 할 일 / 미해결 이슈

RUNNINGopen_microwave(113732, n68) 44% / stack_blocks_three(113736, n76) 50% — 완료 후 unseen-7 평균 vs 논문 17.45% 비교.
move_stapler_pad 1.0% 원인 분석 — 다른 4개 태스크는 전부 큰 폭 초과인데 이것만 대폭 미달.
context.md가 09-08 02:07(학습 시작 시점) 이후로 정체 — 평가 배선~7-way 제출 내용 미반영, 갱신 필요.
3-seed 전체 확장 여부 결정(현재 seed0 1개만 선행).

FurnitureBench High

Isaac Gym 기반 FurnitureSim(B200) — pi0.5 / LingBot-VA 파인튜닝 비교 (git repo 아님, 파일 기반 산출물)

어제 한 일

근본 원인 규명: LingBot action head의 lerobot_latent_dataset.py:281 np.clip(±1.5)가 회전축 학습 타깃을 절단. all_low pooled 분위수 기준 실행 천장(rot1 0.284 / rot2 0.670)이 one_leg 데모 요구치(0.965 / 1.773)의 29% / 38%에 불과 — teacher-forcing 진단으로 모델이 천장에 정확히 포화됨을 확인(MAE 0.014~0.023, 학습 자체는 정상). pi0.5는 같은 분위수를 쓰지만 클립이 없어 무사했음.
클립 제거 재학습: extra QOS 2회 preempt(113086, 113130) 실패 후 own QOS 8GPU(113262)로 전환해 6h44m 만에 3000→4000 step 완주.
4000-step 검증: one_leg 0/30 → 4/30 (13.3%), cabinet phase 2.80→3.50(부품 4→6개). Fisher exact: 수정본 vs 클립본 누적(0/80) p=0.0048(유의) / vs one_leg 단독 학습 모델 p=1.0(완전 동등) → "다부품 통합 학습이 부정 전이를 일으킨다"는 09-07 결론 철회. 여전히 pi0.5(18/50=36%) 대비 p=0.038로 열세.
SLURM 17건, GPU-h ≈89.3 (평가 12건 + 진단 3건 + 학습 재시도 3회).

오늘 할 일 / 미해결 이슈

4000-step checkpoint 정식 평가(one_leg 30ep + 나머지 3가구 10ep)로 최종 확정.
pi0.5와의 격차(13.3% vs 36%) 원인 — 추론 재계획 간격(LingBot 12-step vs pi0.5 10-step chunk) 조사.
다부품 가구(lamp/round_table/cabinet) max_steps 1000→1500 상향 재평가 (2번째 부품 조립 시간 부족 의심).
데모 증량(one_leg 300→1000ep) 재학습 착수 여부 결정.

scene_bench High

Scene-level long-term memory 벤치마크(SceneMem-Bench) + 데이터 생성기(scene-mem-gen)

어제 한 일

[scene-mem-gen] exo 카메라 벽관통 버그: train_5455__5400 84/440(19%)·__5401 37/327(11%) 벽 노출 확인 → 렌더 컬링 + 카메라 오프셋 계산 수정 + 자세선택 시 카메라 여유 선호, 3단계 끝에 0/309, 1/502 (≈0%)로 완전 제거. 유닛 성공률 손해 없음(4/4 유지), 편 길이 439s→308s 단축. 커밋 2건(1,406 files).
[scene_bench] resume(type2) 신규 데이터셋 100편/161행 전수 검수: 오라클 미완주 27/161(16.8%) 발견(10행은 budget 하한 400으로 수행 불가). 커밋 11건 — first_action_hit 필드 추가, 온라인 이미지 예산 버그 수정 등.
online find500 실험: 전략 간 SR이 0.43~0.53으로 수렴하는 원인 분해 — ①VLA 곱셈 병목 ②n=100 검정력 부족(필요 n=2,229) ③온라인엔 기권 없어 텍스트 전략만 +0.10~0.14 회수되는 비대칭 ④target/distractor 상쇄. 이미지 예산 버그(16장 vs 8장 불일치)도 함께 발견·수정.
SLURM 10건, GPU-h ≈4.9 (datagen 7건 + online eval 2건 + CPU API 1건).

오늘 할 일 / 미해결 이슈

resume 27행 제외(134행 사용) vs 데이터팀 재롤아웃 — 결정 필요.
online find: obs4 통일 여부(본 런 589×5 재측정 vs 재사용) — 결정 필요.
routine 생성: 편별 "벽안 %" 지표 자동화는 완료, 남은 건 증거 추출 교차확인.

AI899 High

Physical AI 입문 실습 노트북(RoboCasa/pi0.5, 1시간 강의) — Colab 포팅 (git repo 아님)

어제 한 일

Colab 포팅 파이프라인 신규 구축: make_colab_nb.py(손편집→생성기 전환), 커널 다리 검증 11 PASS / 0 FAIL.
저RAM 로더: 텐서 813개 동일 유지하며 로드시간 70.5s→11.4s(6배), CPU RSS 15.03GB→8.16GB.
RoboCasa 에셋 경량화(원본 9.5GB 중 실사용 242MB=2.5%): 시행착오 3회(아레나 XML/yaml 레지스트리/objaverse 오브젝트 누락) 끝에 결정적 시드 패턴으로 재설계 → v1 27.5GB→19.4GB(34,929→5,056 파일) → 설정 적용 후 v2 최종 494MB(781MB 해제, 4,061 파일). HF(DAVIAN-Robotics/vla-lecture-env) 업로드.
사용자 실제 Colab 테스트 3회 반복하며 버그 5건 수정: 그림 상대경로(data URI 임베드로 해결) · install.sh 로그 미출력 · 로컬/Colab 안내 문구 미분기 · stdout 오염 · 씬 샘플링이 강의 설정(configs/robocasa_pi05.yaml)을 안 써서 엉뚱한 물체가 팩에 포함되던 근본 버그.

오늘 할 일 / 미해결 이슈

경량팩 v2(설정 적용판)로 Colab 재검증 — 아직 미확인.
Drive 마운트 실패(credential propagation 오류) 우회 경로(zip 업로드) 실사용 확인.
T4(sm_75) GPU bf16 동작 여부 미확인(README는 L4/A100 권장).

MolmoBot Medium

pi0.5 × MolmoSpaces / MolmoBot(F=2) goal-conditioned 파인튜닝 (git 18개 파일 미커밋 로컬 수정)

어제 한 일

press 평가벤치 신설: FrankaPressButtonBench 200편/200채(커피머신67·세탁기50·건조기43·전자레인지40), 판정기준 손끝-버튼 ≤3cm ∧ 접촉 ∧ 가전이동 ≤5cm. 로그인 GPU 스모크 2편 통과.
open task 학습-평가 갭 재규명: 학습 데이터는 미닫이 서랍만 학습(chestofdrawers 99.5%)했는데 벤치는 여닫이 문 33% 포함(더 관대한 기준 15%) → 198편 중 55편 관절 무변화, 최대열림 중앙값 3.8%. "초기자세 문제"가 아니라 물체/관절 종류 불일치로 원인 정정.
HF molmo-augment의 4번째 트랙 "press" 확인: 2,281채/11,070편/65.2GB. sensor_data 공백, 집번호 85개 충돌 이슈 발견 → 평가 수단 없다는 문제의식이 이번 벤치 신설로 이어짐.
SLURM 0건 — 아직 설계/코드 단계, 미제출.

오늘 할 일 / 미해결 이슈

press 기준선 측정: pi0.5(place_oc@20k) · MolmoBot(no-goal@10k) 2개 모델 × 200편 평가(각 1GPU, 4-6h 예상) 제출.
press 데이터 65GB 다운로드 → sensor_data 수리 → press/washer 분리 → held_out_houses 200채 제외 → 비율 0.10 추가 재학습.

scene_bench_paper Low

SceneMem-Bench ICLR 2027 논문 원고 (claude/ 문서 디렉토리 없음, HANDOFF_*.md로 관리)

어제 한 일

HANDOFF_v1final_eval.md에 [260908] 섹션 추가: HF 커밋 6511da78 기반 restore_distractor multi 57행 추가 → restore 데이터 518행→575행 확장.
핵심 발견: S②(문맥 불변·distractor 위치 질의) loc 점수 6모델 전부 ≤0.11(최고 flash-3.7 vis-pure 0.107), 오라클 0점 — 로봇이 손대지 않은 물체는 로그에 정의상 존재하지 않아 텍스트 오라클이 원천 무력화됨을 확인.
커밋 0건(핸드오프 문서 미커밋 상태 유지, 마지막 실 커밋은 08-28).

오늘 할 일 / 미해결 이슈

§5 논문 표에 restore 575행 확장 반영 (§7 반영 체크리스트 5개 항목 아직 전부 미체크).
미커밋 파일 3건(HANDOFF×2, tables/) — 논문 리포에 커밋할지 로컬 스크래치로 둘지 정리.

3.활동 없는 프로젝트

RoboTwin repo 자체의 git/문서 활동은 없었지만, 시뮬레이션 백엔드로서 eval_result/*/LingBot_VA/ 하위에 lingbot-va의 rt32k_* 평가 산출물이 남아있다 — 해당 job은 lingbot-va 카드에 반영했다(중복 방지).

4.SLURM 요약

기간 내(2026-09-08 00:00 ~ 09-09 09:00) non-batch job 37건 (COMPLETED 31 · PREEMPTED 4 · RUNNING 2 · CANCELLED 0), 총 GPU-h ≈222.

Job ID	프로젝트	실행 명령	GPU	상태	실행 시간	노드
lingbot-va
112772	lingbot-va	train_robotwin_seen43.sh — rt_seen43 (RoboTwin 43-seen 32k-step 학습, own)	8	COMPLETED	10:24:14	n1
113265	lingbot-va	eval_robotwin_task.sh — rt_eval_smoke (평가 하네스 스모크)	1	PREEMPTED	00:12:00	n33
113399	lingbot-va	eval_robotwin_task.sh — rt_eval_timing (타이밍 측정)	1	COMPLETED	00:17:00	n55
113730	lingbot-va	eval_robotwin_seen43.sh — rt32k_place_object_scale (unseen-7 hold-out, seed0×100)	1	COMPLETED	04:50:18	n66
113731	lingbot-va	eval_robotwin_seen43.sh — rt32k_stamp_seal	1	COMPLETED	05:37:40	n67
113732	lingbot-va	eval_robotwin_seen43.sh — rt32k_open_microwave (44% 완료)	1	RUNNING	08:16:16	n68
113733	lingbot-va	eval_robotwin_seen43.sh — rt32k_move_stapler_pad	1	COMPLETED	05:58:41	n69
113734	lingbot-va	eval_robotwin_seen43.sh — rt32k_place_bread_basket	1	COMPLETED	06:25:59	n74
113735	lingbot-va	eval_robotwin_seen43.sh — rt32k_place_empty_cup	1	COMPLETED	04:29:21	n51
113736	lingbot-va	eval_robotwin_seen43.sh — rt32k_stack_blocks_three (50% 완료)	1	RUNNING	08:15:16	n76
FurnitureBench
112911-914	FurnitureBench	eval_lingbot_furniture.sh — fb_eval_lingbot_e128p_{one_leg,lamp,round_table,cabinet}_step3000 (e128 packing 최종평가, 4잡)	1×4	COMPLETED	01:29-04:29h	n38/41/43/50
113061-062	FurnitureBench	diagnose_action_head.py — fb_diag_action_{all_low,one_leg} (teacher-forcing 진단, 2잡)	1×2	COMPLETED	~00:03h	n55/56
113086/113130/113262	FurnitureBench	train_lingbot.sh — fb_lingbot_train_all_e128fix (클립 제거 재학습: extra 2회 preempt → own 8GPU 완주)	8	PREEMPTED→PREEMPTED→COMPLETED	00:30/01:19/06:45	n13/34/30
113354	FurnitureBench	diagnose_action_head.py — fb_diag_action_fix3100 (클립수정 3100 checkpoint 진단)	1	COMPLETED	00:02:52	n64
113368	FurnitureBench	eval_lingbot_furniture.sh — fb_eval_lingbot_fix_one_leg_step3100 (수정본 조기평가)	1	COMPLETED	01:34:58	n67
113471/113511	FurnitureBench	eval_lingbot_furniture.sh — fb_eval_lingbot_fix_one_leg_step3500 (중간평가, preempt 후 재시도)	1	PREEMPTED→COMPLETED	00:51/00:46	n42/69
113554-557	FurnitureBench	eval_lingbot_furniture.sh — fb_eval_lingbot_fix_{one_leg,lamp,round_table,cabinet}_step4000 (최종 확정 평가, 4잡)	1×4	COMPLETED	01:25-03:59h	n31/40/45/51
scene_bench (scene-mem-gen 포함)
112010	scene_bench	run_v1_final_shards.sh — v11s2_sonnet (Restore S② 추가검산, API)	0(CPU)	COMPLETED	01:38:19	n4
113078	scene_bench	scene-mem-datagen — rt_wallfix (exo 벽관통 1차 진단)	1	COMPLETED	00:29:54	n3
113313	scene_bench	scene-mem-datagen — rt_wf5401	1	COMPLETED	00:19:52	n57
113319	scene_bench	scene-mem-datagen — rt_wf2001	1	COMPLETED	00:50:49	n32
113389-390	scene_bench	online_pilot — online_obs4_s0/s1 (find500 obs4 확인런, 2잡)	1×2	COMPLETED	00:22-00:51h	n44/50
113400	scene_bench	scene-mem-datagen — rt_camclear (카메라 여유 1차수정)	1	COMPLETED	00:20:59	n66
113426	scene_bench	scene-mem-datagen — rt_camclear2	1	COMPLETED	00:26:48	n50
113470	scene_bench	scene-mem-datagen — rt_cc4 (공격/보수 비교)	1	COMPLETED	00:38:10	n45
113502	scene_bench	scene-mem-datagen — rt_final (최종 확정)	1	COMPLETED	00:32:55	n47

0.오늘의 우선순위

1.TL;DR

2.프로젝트별 현황

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

어제 한 일

오늘 할 일 / 미해결 이슈

3.활동 없는 프로젝트

4.SLURM 요약