Daily Progress

어제 한 일

• Vulkan 렌더 관문 확정 — worker 기본 이미지·로그인 pod는 SAPIEN 렌더 전부 실패(Found no drivers), --container=nvcr.io/nvidia/isaac-lab:2.2.0에서만 성공(B200 driver 580.95.5, rasterizer 240×320×4 OK). 근본원인은 기본 이미지의 Vulkan 유저스페이스 불완전.
• RoboTwin 데이터셋·브릿지 구축 — data/robotwin_tau.py(HDF5 직독, action_in_dim 20 유지), X-WAM zmq 와이어 포맷 그대로 재사용하는 브릿지(클라이언트 수정 0). 단위검증: 55,223 clips, world↔τ₀ 왕복 오차 0, rel→abs 재구성 오차 1.2e-7.
• pretrained 가중치 전량 로드 확인 — mismatched_keys: []. RoboCasa 실험과 달리 action-space 단절 없음.
• 이슈 3건 수정: task 이름 오타(shake_bottle_horizontally), cross-env numpy 2.x↔1.23.5 피클 비호환, eval 스크립트의 wait 로직(브로커까지 기다려 job이 안 끝나던 버그).
• E2E 평가 스모크 통과(job 95671, 4분56초) — broker+τ₀서버+robotwin_client 전 배관 검증. 학습 예산 54,000 step 확정(X-WAM 5.12M 샘플 매칭).
• 8-GPU 본 학습 제출 — job 95687(own, 2일 time limit) 22:46 시작, 현재 10h15m+ 경과. 중간 평가잡(95876, step_18000, 4 GPU)은 04:42 시작 24분 만에 PREEMPTED.

오늘 할 일

• 95687 완주 모니터링 — 18k/36k 체크포인트 자동 평가 워처 확인, 54k(50 task×100) 최종 평가까지
• 95876(step_18000 평가) 재제출
• eef rot6d 자세 규약 정렬 검토 — τ₀ pretrain 평균 자세와 코사인 유사도 L −0.29 / R +0.34로 미정렬 (native 실험의 알려진 한계)

어제 한 일

• 플래그십 MolmoBot-DROID(Molmo2+flow) 통합 — 서빙 스택 신규 구축(cu126→cu128 torch 교체, 카메라 별칭 매핑). 스모크에서 bowl pick 68스텝 성공(공식 Pi0는 1/22 시도). b554670
• 하네스 결함 3건 순차 적발·수정 (v16→v20): (1) 플래그십 서버 Semaphore(1) 연결 유지 → 2번째 플랜부터 무한 hang, policy.close()로 수정 db8bc2b (2) place 접근 yaw에 ±45° 학습증강 노이즈가 그대로 남아있어 "정면이 아니다" → facing_pose()로 정면 재설정 2871ee0, 이후 변 정방향 접근(square_approach_candidates) 46b5d70 (3) 가장 임팩트 큰 결함 — MS 자체 성공판정(footprint 휴리스틱)이 place 서브골을 중도 절단해 "낙하"로 오판정되던 버그 d94c76d → 제거 후 플래그십 restore 0/3→2/3(침대·변기 최초 정상 배치).
• v21 restore 11-plan 최종 평가(3 컨텍스트: val_144/val_406/val_733) — π0.5 mixv2 5/11 > Cosmos3 Nano 4/11 > 플래그십 MolmoBot-DROID 2/11. VLA place 성공률은 절단 제거 후 8/10·6/9·4/7로 세 모델 모두 대체로 성공 — 실제 병목은 pick(9~16%/시도, 소형 신규 물체에서 특히 약함).
• find ctx3 최종(11질의, bench 초기자세 공정비교): 플래그십=mixv2=4/11 > 공식 Pi0-DROID 3/11.
• 논문(scene_bench_paper) 작업 병행 — Figure 1 teaser(gpt-image-2) 생성 + TikZ 라벨 오버레이, 통계 Table 3 → 3패널 막대그래프 전환(dataviz validator ALL PASS), §3.3 재서술(공리 나열 → 침입경로 3개+점검 5개 서술) + 부록(A~F) 신설, 본문 정확히 9.0p로 4라운드 압축.

오늘 할 일

• pick 병목 분석 — 소형 물체·쿠션 위 대상(9~16% 성공률) 원인 분해, 프리미티브 보조 여부 검토
• 논문 표·본문을 v21 11-plan 수치로 갱신, Figure 1/2 최종 배선 확정
• PH-1(GPT-5.6/Qwen3-VL/Robotics-ER 모델 격자)·PH-4(shuffled memory) placeholder 실험 착수
• 익명 코드/데이터 미러 준비(HF 계정명 노출 리스크)
• 미해결: R1(씬 save/restore, Tier B/C용 치명 블로커), R3(TOGGLE 상태), open/close/press 스킬용 데이터 부재

어제 한 일

• H4 판정 완료 — 기각. FT-mix(성공+실패) − FT-succ(성공만) = every4 beats_copy +4%p(v4 42→46%, testB 42→46%), 사전등록 기준 +15%p에 크게 미달. base→FT 개선의 대부분은 도메인 적응이며, 성공 rollout 261 ep만으로도 42%까지 회복됨. 실패데이터의 순수 기여는 open_loop(+15~19%p)·stack_disturb(+16%p)에 국한, drop은 오히려 FT-succ가 우위(67 vs 58%).
• 혼합비 결함 발견 — RankPartitionedDataLoader가 rank 단위로 데이터셋을 배정해 의도한 1:1:1이 4 GPU에서 2:1:1로 양자화됨(succ 6.48× 반복 vs fail_event 0.29×). H4 기각의 유력한 기계적 원인으로 지목, 양자화 손실 없는 1:5:2(8 GPU) 조합으로 FT-mix-v2 재제출 → GPU 양보로 iter 2894에서 일시 중단(job 95196, 5h22m 소모).
• unseen 사건-후 코호트 재판정 — 판정 구간을 사건 전후 1.1초에서 4.3초로 확장하자 open_loop 우위(+15~19%p)가 사라지고 FT-succ·FT-mix 동률로 수렴 — H4 기각을 더 강하게 뒷받침.
• 리포트 영상 시킹 버그 근본 수정 — (1) 166개 영상 재먹싱(moov atom을 파일 끝→앞으로, faststart) (2) webui 서버(starlette 0.38.6)가 HTTP Range 미지원이었던 게 진짜 원인 → RangeStaticFiles 클래스 추가, 206/416 응답 검증 완료.

오늘 할 일

• FT-mix-v2(1:5:2) 재개 여부 결정 — own GPU 쿼터 여유 확인 필요
• Phase 2b — 재수집 1,200 ep(objpose 포함)로 counterfactual 편집 액션을 실제 sim 실행해 GT 생성, E2 재설계
• 평가 프로토콜 재설계 — open_loop을 주 평가축으로 승격 + 사건 단위(그 물체가 실제로 떨어졌나/무너졌나) 판정

어제 한 일

• d1c1189Fit main text to the 9-page limit; more detail to appendix
• 0fa4bebRestructure: clarify leakage control (3.3), condense protocol (4), move details to appendix
• f28f620Statistics table → figure (3-panel bar chart, matplotlib, vector PDF)
• 3459decUpdate on Overleaf
• f442831Update on Overleaf

본문을 정확히 9.0p 상한에 맞춤(그림 3장 반영 후 10.2p → 이관·압축 4라운드). §3.3을 내부 용어 나열에서 "침입 경로 3개 → 점검 5개 → 실제 적발 사례 2건" 서술로 재작성, 부록 A~F(coverage/공리/프로토콜/생성세부/추가결과/프롬프트) 신설.

오늘 할 일

• Figure 1(teaser)·Figure 2(protocol) 최종 확정 — 현재 gpt-image-2 후보 1 기본 배선 상태
• PH-1/PH-4 실험 결과 도착 시 표 반영, routine(§5.7) 데이터 도착 대기
• 익명 코드/데이터 미러 준비(HF 계정명 노출 리스크)