Index
2026-09-04 — Analysis

scene-mem-datagen 이관 묶음 검증 (yj-1 → B200 클러스터)

scene_bench · 데이터 생성기 이관 · ~/repos/Robotics/scene-mem-gen/

TL;DR

8/8
설명서 주장 일치
30/32
에셋 버전 일치
11 MB
추가 다운로드
44
경로 치환 스크립트
178
4/4 staged 계획

1 배경 / 목적

scene-mem 벤치마크 데이터 생성기가 외부 서버 yj-1에서 돌고 있었고, 다른 세션이 원본 102 GB 중 코드·설정·문서만 21 MB 묶음으로 정리해 옮겨 놓았다. 이 묶음이 온전한지, 설명서(README_TRANSFER.md)의 주장이 맞는지, 이 서버에서 돌리려면 무엇이 더 필요한지를 복원 dry-run으로 실측했다. 실제 복원은 아직 하지 않았다.

설명서의 경고: mujoco 에셋 218 GB + objaverse 350 GB 재다운로드, EGL↔nvidia-smi 매핑 비항등, molmospaces 로컬 패치 17파일 없으면 재현 불가.

2 작업 내용

tmp/restore_check/ 에서: git clone bundle → git apply --check/apply 01-uncommitted.patch → tar xzf 02~06 설명서 수치(커밋·파일·계획·npz·링크·문서 수) 전부 실측 대조 이 서버 조사: conda env list → mlspaces env의 molmo_spaces 위치·커밋 (~/repos/scenemem/molmospaces) ~/.cache/molmo-spaces-resources (versioned) · ~/.cache/molmospaces/assets/<hash> (RM flat) 버전 대조 GitHub/HF 도달 · 로그인 B200 EGL 렌더 프로브(≤30 s) · 복원 트리 내 절대경로 grep

3 결과

A. 묶음 무결성

항목설명서 주장실측판정
bundle커밋 9 · HEAD b53ce129 · 일치 · tracked 2,524OK
01 patch19 파일19 (+364/−52) · apply --check OK. plans_resume/val 11개는 mode 변경뿐OK
02 untracked2020OK
03 plans_resume1249train 1028 / train_pr 8 / val 213 · staged==4 계획 178OK
04 npz865865OK
06 molmospaces17파일/724줄 · base c2f1b5817 +724 −45 · BASE 일치 · 링크 32 + manifest 2OK
docs3231 + 신규 2 (+.bak 1)OK
HF Keh0t0/scene-mem-benchmark112편 publicAPI HTTP 200OK
GitHub yoon0330/scene-memorigin/main 푸시됨Repository not foundbundle 유일

B. 묶음에 빠진 것

빠진 것원인영향
plans/train/ (type1 계획).gitignore plans*/ · tar에도 없음type1 100편은 HF에 있음. 재생성 가능하나 동일 계획 재현 불가
patches_pending/미추적 · tar 미포함보류 패치 press_pending_3fixes.diff 유실
yj-1 LOCAL type2 13편설계상 제외yj-1 보관 · 필요 시 수취

C. 이 서버 환경 — 설명서가 모르는 사실

항목상태
conda mlspacesPython 3.11.15 · mujoco 3.5.0 · molmo_spaces import OK · datagen 의존 패키지 전부 OK
molmospaces 체크아웃~/repos/scenemem/molmospaces HEAD 68d0281 = base + 2 commits · 로컬 패치 apply --check 통과 · 겹치는 파일 pipeline.py 1개(충돌 없음)
에셋 versioned 트리~/.cache/molmo-spaces-resources · PINS 32개 중 30 일치 · 불일치는 benchmarks v1/v2뿐(datagen 미사용)
RM flat 계층~/.cache/molmospaces/assets/<hash> — 설명서 mlspaces_assets/와 같은 역할, 이미 존재
에셋 채워진 정도lazy 형태. thor 전체(1.5 GB) · grasps/droid 1678 · franka_droid OK · procthor-10k-train 집 0채 · objaverse 146개
필요 다운로드MANIFEST 101채 = 11 MB(압축). asset_bench 539개는 전부 THOR 이름 → objaverse 350 GB 불필요 가능성 높음
EGL 렌더로그인 B200 mujoco.Renderer OK · EGL id 1 → nvidia-smi 1 (+1.9 GB)
/home/nas_main/junhahyung/jaeyoon/…이 서버에 없음 — env.sh · gen_queue_yj4b.sh 경로는 yj-1 마운트 이름
핵심 발견: 설명서가 가장 무겁게 경고한 두 가지(568 GB 에셋, EGL 매핑)는 이 서버에서는 거의 문제가 아니다. 에셋 계층·버전이 이미 있고 부족분은 11 MB, sbatch 1-GPU 워커면 CUDA_VISIBLE_DEVICES=0이라 EGL 매핑 자체가 소멸한다.
주의: pinned_assets.json의 benchmarks 핀(20260318/20260330)이 로컬(20260408/20260415)과 다르다. MLSPACES_FORCE_INSTALL=False 환경에서는 버전 불일치가 ValueError로 기동을 막으므로 핀을 로컬에 맞추거나 제거해야 한다.

3b [업데이트] 원본과의 동일성 정밀 대조

사용자 요구("이전 것 그대로, 코드·세팅·결과 그대로")에 맞춰 집 풀·코드 시점·계획·환경을 항목별로 대조했다. 앞선 "101채 11 MB"는 배포된 편의 집만 센 값이라 정정한다.

항목동일 여부근거
코드 (yj-1 09-04 작업트리)동일bundle HEAD + 미커밋 patch + 미추적 = 원본 작업트리
코드 (HF v1 type1 생성 시점 08-26~28)근사da782d0 final 이후 미커밋 변경이 09-01 9.1에 합류. 현재 트리는 resume 작업의 공유 모듈 변경(9파일 +1066/−140)이 더 얹힌 상태
집 풀동일 가능train 카드 1,600채 전체, 게이트 통과 790채(train_ok.txt 790 = 카드 gate=True 790). 배포 100편은 84채. 집 1,600채 필요(train 10k 압축 0.9 GB, 버전 동일)
카드·인벤토리·npz동일1,600 카드 version 4 · 스캔 플래그 포함 · npz 865
type1 계획 plans/train/없음08-27 plans/ ignore. 생성기는 결정론적(Random(f"{house}:{seed}"))이나 08-27 이후 냉장고 서랍 제외·높이 게이트 추가 → 재생성 ≠ 08-26 계획
listTrain300.txt없음listTrain150/200·listT_all·v2_121은 있음
에셋 버전동일핀 30/32 일치, 불일치는 미사용 benchmarks
molmospaces새 clone 필요기존 체크아웃은 base+2커밋. c2f1b58 clone 후 패치
Python 환경부분 확인Python 3.11 · mujoco 3.5.0만 문서 기록. 나머지 패키지 버전 기록 없음 → yj-1 pip freeze 필요
실행 설정동일batch.sh: --stream-video · timeout 5400 · EGL fallback · NPAR 20~24 · 편당 VRAM 2.42 GB / RAM ≤4.28 GB
raw datagen_out/T20260826 등없음v1 트리 재구성 불가 (HF 다운로드로 대체)
결과 동일성분포 동일무대·질의 규칙은 동일 재현. 물리 롤아웃은 CPU/BLAS 차이로 바이트 동일 불가 (원본도 3개 서버 분산 생성)
yj-1에서 추가로 받아야 할 것: plans/train/ + listTrain300.txt, mlspaces env의 pip freeze, (선택) patches_pending/. 원본이 살아 있을 때 받아둘 것.

4 Takeaway

의미

묶음은 그대로 써도 된다. 진짜 작업은 경로 치환 + sbatch 래핑 + molmospaces 패치 격리 세 가지로 줄어든다. 특히 기존 ~/repos/scenemem/molmospaces는 pi05-mlspaces 평가와 editable install로 공유되므로, 패치 17파일(renderer·robots·tasks)을 거기 직접 적용하면 그쪽 동작이 바뀔 수 있다 — 별도 clone이 안전하다.

5 Next Steps

결정 필요

복원 위치(scene-mem-gen/scene-mem-datagen/ + scene-mem-gen/molmospaces/ 제안) · molmospaces 패치본을 물릴 env(기존 mlspaces 공유 vs 새 env).

다음 작업

① 이 서버판 env.sh 작성 → import mf_scene 통과 확인 ② 로그인에서 scene_analyze.py card --house train_1299 1회(≤1분)로 lazy 다운로드 + 렌더 관통 ③ gen_queue sbatch 래퍼 작성 후 sbm 1-GPU 1편 스모크 ④ yj-1에서 plans/train/·patches_pending/ 추가 수취(선택).