Scope: papers from sessions with lecture videos only. / 시험 범위: 강의 영상이 있는 수업의 논문만 포함.
출제 gpt-6-astra (xhigh), 독립 풀이 검증 gpt-6-sol (high). 핵심 개념 18문제 + 쉬운 추가 5문제 · 객관식 23문제 · 검증 통과 23 · 검토 필요 0.
교수 피드백 반영: 세부 수치·논문 고유 기호 암기보다 핵심 아이디어를 평가합니다.
arXiv 2303.04137 · 수업 260914 · 난이도 medium · 검증 통과
평가 개념: 그림의 경로 다양성을 재현하려는 상황에서, 개별 행동의 다봉성과 행동 시퀀스의 시간적 일관성을 구분한다.
Q1 · 객관식 / Multiple choice

Source / 출처: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion, Figure 3, p.5 — 원문 그림 발췌 / Original figure excerpt.
Trajectory comparison from Figure 3. Colored lines show motion trajectories. Representing alternative routes and following a consistent route within one execution are distinct requirements. No knowledge of the other methods is required.
원 논문 Figure 3의 경로 비교. 색 선은 생성된 움직임의 궤적이며, 여러 유효한 접근 경로를 표현하는 것과 한 번의 실행에서 경로를 일관되게 따르는 것은 서로 다른 요구다. 다른 방법의 이름이나 세부 구현은 알 필요 없다.
Q1 (English)
In Figure 3, the Diffusion Policy panel shows alternative routes around the block. A student tries to reproduce this behavior by independently sampling each next action from a distribution covering both routes. The resulting trajectories repeatedly change direction within a trial. Which modification best addresses this failure while retaining both route alternatives across trials, and why?
Answer: C
Explanation: Joint sequence generation models dependencies between actions, supporting a coherent route within a trial while allowing different routes across trials. Averaging can blend incompatible routes. More accurate independent actions or locally most likely actions do not by themselves provide temporal consistency and route diversity.
Q1 (한국어)
Figure 3의 Diffusion Policy 패널에는 블록을 돌아가는 서로 다른 경로가 나타난다. 한 학생이 이를 재현하려고 두 경로를 모두 표현하는 분포에서 매번 다음 행동을 독립적으로 샘플링했다. 그러자 한 번의 실행 도중 움직임의 방향이 반복해서 바뀌었다. 여러 번 실행했을 때 두 경로가 모두 나올 가능성을 유지하면서 이 실패를 가장 잘 해결하는 변경과 그 이유는 무엇인가?
정답: C
해설: 시퀀스를 공동으로 생성하면 행동 사이의 의존성을 모델링하여 한 실행 안에서는 일관된 경로를 따르도록 돕고, 실행 간에는 서로 다른 경로를 생성할 수 있다. 평균은 서로 양립하지 않는 경로들을 섞을 수 있다. 독립적인 행동의 정확도를 높이거나 매 순간 확률이 가장 높은 행동을 고르는 것만으로는 시간적 일관성과 경로 다양성을 함께 확보할 수 없다.
근거: [논문 2303.04137 p.5] [영상 260914 44:29] [영상 260914 1:01:45] [슬라이드 260914-2 p.13]
arXiv 2406.09246 · 수업 260914 · 난이도 medium · 검증 통과
평가 개념: 물체를 인식하는 능력과 그 인식을 지시에 맞는 로봇 행동으로 연결하는 능력을 구분한다.
Q2 · 객관식 / Multiple choice
Q2 (English)
A lab has few demonstrations for a new robot that must follow commands such as “put the red cup on the plate” among several objects. It can adapt either an image–text pretrained vision-language model (VLM) directly or OpenVLA, which also learned from diverse robot demonstrations. Even if both models recognize the objects, what benefit does OpenVLA’s additional robot pretraining offer here?
Answer: C
Explanation: Robot pretraining connects visual and language knowledge to action prediction, providing a useful starting point for adaptation with limited demonstrations. This is especially valuable when instructions specify which object to manipulate. OpenVLA directly predicts actions; robot pretraining neither merely improves recognition nor guarantees unchanged control across new robot bodies.
Q2 (한국어)
한 연구실에 여러 물체 중에서 “빨간 컵을 접시 위에 놓아라” 같은 지시를 수행해야 하는 새 로봇이 있지만, 시연 데이터는 적다. 연구실은 이미지–텍스트로 사전학습된 비전–언어 모델(VLM)을 직접 미세조정하거나, 다양한 로봇 시연으로도 학습한 OpenVLA를 미세조정할 수 있다. 두 모델 모두 물체를 인식한다고 해도, OpenVLA의 추가적인 로봇 사전학습은 이 상황에서 어떤 이점을 제공하는가?
정답: C
해설: 로봇 사전학습은 시각·언어 지식을 행동 예측과 연결하여, 적은 시연으로 적응할 때 유용한 출발점을 제공한다. 특히 지시에 따라 조작할 물체를 선택해야 할 때 가치가 크다. OpenVLA는 행동을 직접 예측하며, 로봇 사전학습은 단순히 인식만 개선하는 것도, 새로운 로봇 몸체에서도 제어가 변경 없이 전이됨을 보장하는 것도 아니다.
근거: [논문 2406.09246 p.5] [논문 2406.09246 p.9] [영상 260914 26:46] [슬라이드 260914-1 p.11]
arXiv 2304.13705 · 수업 260916 · 난이도 medium · 검증 통과
평가 개념: Distinguish modeling demonstration variability during training from sampling random actions during deployment.
Q3 · 객관식 / Multiple choice
Q3 (English)
A robot learns to insert a battery from human demonstrations. From similar camera views and arm configurations, the operator sometimes uses different successful motion sequences. ACT is trained as a conditional variational autoencoder (CVAE): it predicts actions from the observation and an additional latent input. During deployment, this latent input is fixed, so the policy is deterministic. Why can CVAE training still help in this situation?
Answer: B
Explanation: The CVAE models variation in demonstrated action sequences that the observation alone does not explain. This training role remains useful when deployment fixes the latent input to produce deterministic actions. A describes dynamics modeling, C describes action chunking, and D describes observation denoising; these are not the purpose of ACT’s CVAE training.
Q3 (한국어)
로봇이 사람의 시연으로 배터리 삽입을 학습한다. 카메라 영상과 팔의 자세가 비슷해도 시연자는 서로 다른 동작 시퀀스로 작업에 성공한다. ACT는 조건부 변분 오토인코더(CVAE)로 학습되며, 관측과 추가적인 잠재 입력(latent input)을 받아 행동을 예측한다. 실제 실행에서는 잠재 입력을 고정하므로 정책은 결정론적으로 동작한다. 이런 상황에서도 CVAE 학습이 도움이 될 수 있는 이유는 무엇인가?
정답: B
해설: CVAE는 관측만으로 설명되지 않는 시연 행동 시퀀스의 변동성을 모델링한다. 이러한 학습상의 역할은 실행 시 잠재 입력을 고정해 결정론적 행동을 생성하더라도 유용하다. A는 동역학 모델링, C는 행동 청킹(action chunking), D는 관측 잡음 제거에 해당하며, ACT가 CVAE로 학습하는 목적과는 다르다.
근거: [논문 2304.13705 p.5] [영상 260916 35:11] [영상 260916 35:47]
arXiv 2506.07339 · 수업 260916 · 난이도 medium · 검증 통과
평가 개념: 각각 유효한 경로라도 평균하거나 실행 중인 경로에 이어 붙이면 유효하지 않을 수 있다는 점을 RTC의 설계 이유와 연결한다.
Q4 · 객관식 / Multiple choice

Source / 출처: Real-Time Execution of Action Chunking Flow Policies, Figure 2, p.3 — 원문 그림 발췌 / Original figure excerpt.
Figure 2: black is the previous plan being executed, red is a new independently generated plan, gray is an obstacle, and brown mixes the plans. The robot moves while inference runs. The a labels index actions over time; d denotes inference delay. No index or numerical calculation is required.
원 논문 Figure 2. 검은 경로는 실행 중인 이전 계획, 빨간 경로는 새 관측으로 독립적으로 생성한 계획, 회색 영역은 장애물이다. 추론하는 동안에도 로봇은 움직인다. a와 첨자는 시간 순서의 행동을, d는 추론 지연을 뜻하며 수치 계산은 필요 없다. 갈색 경로는 두 계획을 섞는 경우를 나타낸다.
Q4 (English)
In Figure 2, suppose the black and red routes each avoid the obstacle when followed from their intended starting points. A student argues that independently generating a new action chunk—a sequence of future actions—and averaging it with the old one should therefore suffice. The robot continues moving during inference. Which explanation best supports RTC’s choice to instead guide new chunk generation using the actions that will execute during that delay?
Answer: A
Explanation: RTC generates a continuation compatible with actions that will already have executed when inference finishes, while incorporating the new observation. Averaging distinct obstacle-avoidance strategies can produce an invalid path. Guidance adds computation; it neither reconstructs an observation from the handoff time nor requires completing the entire old chunk.
Q4 (한국어)
Figure 2에서 검은 경로와 빨간 경로는 각각 의도된 시작점부터 따르면 장애물을 피한다고 가정하자. 한 학생은 따라서 새로운 행동 청크(action chunk: 미래 행동의 연속)를 독립적으로 생성한 뒤 이전 청크와 평균하면 충분하다고 주장한다. 로봇은 추론 중에도 계속 움직인다. RTC가 대신 추론 지연 동안 실행될 행동을 이용해 새 청크의 생성을 유도하는 이유를 가장 잘 설명한 것은?
정답: A
해설: RTC는 추론이 끝났을 때 이미 실행되었을 행동과 양립하는 후속 행동을 생성하면서 새 관측을 반영한다. 서로 다른 장애물 회피 전략을 평균하면 유효하지 않은 경로가 생길 수 있다. 가이던스는 계산량을 추가하며, 전환 시점의 관측을 복원하거나 이전 청크 전체의 실행 완료를 요구하지 않는다.
근거: [논문 2506.07339 p.3] [논문 2506.07339 p.4] [영상 260916 49:41] [슬라이드 260916-1 p.7] [슬라이드 260916-1 p.19]
arXiv 2504.16054 · 수업 260921 · 난이도 medium · 검증 통과
평가 개념: 행동 라벨이 없는 웹 데이터가 의미 이해를 통해 로봇의 일반화에 기여하는 이유를 적용한다.
Q5 · 객관식 / Multiple choice
Q5 (English)
A mobile robot is being trained to tidy kitchens it has never visited. It can execute familiar pick-and-place motions, but often selects the wrong item when an instruction names an unfamiliar object category. An engineer proposes dropping web image–text examples because they contain no robot actions. Based on π0.5, which explanation best justifies retaining these examples during co-training (training one model on multiple kinds of tasks)?
Answer: D
Explanation: Web image–text tasks provide visual and semantic knowledge that helps connect an unfamiliar object name to the right item. Robot demonstrations supply the manipulation experience needed to act on it. A confuses semantic supervision with motor-action targets. B replaces unified co-training with independent planner training. C overlooks web data’s contribution to understanding unseen object categories.
Q5 (한국어)
한 이동형 로봇이 방문한 적 없는 주방을 정리하도록 학습되고 있다. 익숙한 집기·놓기 동작은 수행하지만, 지시에서 낯선 물체 범주를 언급하면 엉뚱한 물건을 선택하곤 한다. 한 엔지니어가 로봇 행동이 포함되어 있지 않다는 이유로 웹 이미지–텍스트 예제를 제외하자고 제안한다. π0.5에 근거할 때, 공동 학습(co-training: 하나의 모델을 여러 종류의 과제로 학습하는 방식)에 이 예제를 유지해야 하는 이유로 가장 적절한 것은?
정답: D
해설: 웹 이미지–텍스트 과제는 낯선 물체 이름을 올바른 물건과 연결하는 데 도움이 되는 시각·의미 지식을 제공한다. 로봇 시연은 그 물건을 실제로 다루는 데 필요한 조작 경험을 제공한다. A는 의미적 지도를 로봇 동작 목표와 혼동한다. B는 통합된 공동 학습을 독립적인 계획기 학습으로 바꿔 설명한다. C는 보지 못한 물체 범주를 이해하는 데 웹 데이터가 기여한다는 점을 놓친다.
근거: [슬라이드 260921-1 p.8] [슬라이드 260921-1 p.9] [영상 260921 07:05] [논문 2504.16054 p.10]
arXiv 2503.14734 · 수업 260921 · 난이도 medium · 검증 통과
평가 개념: Distinguish transferable motion supervision from directly executable robot commands.
Q6 · 객관식 / Multiple choice
Q6 (English)
A lab has few demonstrations from its humanoid but many videos of people moving objects, without recorded motor commands. Following GR00T N1, it extracts latent action labels—learned representations derived from pairs of video frames—and trains a shared policy using these labels and robot actions. What is the main reason this can help learning from limited robot demonstrations?
Answer: C
Explanation: Latent actions capture motion between frames, allowing videos without motor-command labels to provide behavioral supervision for the shared model. Robot demonstrations ground this learning in the target robot’s controls. These latent labels are neither task descriptions nor directly executable commands, and their use does not require a separate human-motion expert at deployment.
Q6 (한국어)
한 연구실에는 휴머노이드 시연이 적지만, 운동 명령이 기록되지 않은 사람의 물체 조작 영상은 많다. GR00T N1의 접근에 따라 영상 프레임 쌍에서 학습된 표현인 잠재 행동 라벨(latent action labels)을 추출하고, 이 라벨과 로봇 행동을 함께 사용해 공유 정책을 학습한다. 이 방법이 적은 로봇 시연으로 학습하는 데 도움이 될 수 있는 핵심 이유는 무엇인가?
정답: C
해설: 잠재 행동은 프레임 사이의 동작을 포착하므로, 운동 명령 라벨이 없는 영상도 공유 모델에 행동 감독 신호를 제공할 수 있다. 로봇 시연은 이 학습을 대상 로봇의 제어 명령에 연결한다. 잠재 라벨은 작업 설명이나 바로 실행 가능한 명령이 아니며, 배포 시 별도의 인간 동작 전문가 모델을 요구하지도 않는다.
근거: [논문 2503.14734 p.2] [논문 2503.14734 p.5] [슬라이드 260921-2 p.9] [영상 260921 48:05]
arXiv 2409.00588 · 수업 260923 · 난이도 medium · 검증 통과
평가 개념: 실제 로봇 행동과 내부 디노이징 결정을 구분하고, 과제 보상으로 내부 결정을 학습할 수 있는 이유를 묻는다.
Q7 · 객관식 / Multiple choice
Q7 (English)
A robot learns insertion from demonstrations using a diffusion policy, which generates an action sequence by repeatedly refining a noisy candidate. The team wants to improve it with PPO using insertion success as the reward. PPO needs to evaluate how likely sampled decisions are, but the final action sequence’s likelihood is difficult to compute directly. Why does DPPO treat the internal refinements as decisions in an expanded decision process?
Answer: D
Explanation: Each denoising transition has a tractable Gaussian likelihood, allowing PPO to update internal decisions using returns from task execution. Intermediate candidates are not physically executed and need no separate task rewards. The final action distribution need not be Gaussian, and denoising error does not replace the task reward.
Q7 (한국어)
로봇이 시연으로부터 삽입 작업을 학습했다. 이 로봇의 확산 정책(diffusion policy)은 노이즈가 있는 후보를 반복해서 정제하여 행동 시퀀스를 생성한다. 연구팀은 삽입 성공을 보상으로 삼아 PPO로 정책을 개선하려 한다. PPO는 샘플링된 결정이 나올 가능도(likelihood)를 평가해야 하지만, 최종 행동 시퀀스의 가능도를 직접 계산하기는 어렵다. DPPO가 내부 정제 단계들을 확장된 의사결정 과정의 결정으로 취급하는 이유는 무엇인가?
정답: D
해설: 각 디노이징 전이의 가우시안 가능도는 계산할 수 있으므로, PPO는 과제 실행에서 얻은 누적 보상으로 내부 결정을 업데이트할 수 있다. 중간 후보는 실제로 실행되지 않으며 별도의 과제 보상도 필요하지 않다. 최종 행동 분포가 가우시안일 필요는 없고, 디노이징 오차가 과제 보상을 대체하지도 않는다.
근거: [논문 2409.00588 p.5] [논문 2409.00588 p.6] [영상 260923 43:26] [영상 260923 45:06] [슬라이드 260923-2 p.9]
arXiv 2506.01844 · 수업 260923 · 난이도 medium · 검증 통과
평가 개념: 추론 자체의 계산 비용 감소와 추론·행동 실행의 중첩에 따른 대기시간 감소를 구분한다.
Q8 · 객관식 / Multiple choice
Q8 (English)
A lab deploys SmolVLA on a low-cost pick-and-place robot. The policy predicts an action chunk—a short sequence of motor commands—and the robot initially finishes each chunk before requesting the next. After switching to asynchronous inference with the same model and hardware, the robot completes more successful cycles per minute, with similar success per attempt. Which explanation best accounts for this improvement?
Answer: D
Explanation: SmolVLA requests a new chunk before the current action queue is exhausted, allowing prediction and execution to overlap. Reduced idle time can increase successful cycles per minute without improving success per attempt. The mechanism is overlapping computation with execution, rather than longer chunks, cheaper individual predictions, or faster motor motion.
Q8 (한국어)
한 연구실이 저비용 집기·놓기 로봇에 SmolVLA를 적용한다. 정책은 짧은 모터 명령 시퀀스인 행동 청크(action chunk)를 예측하며, 처음에는 로봇이 청크 전체를 실행한 뒤 다음 청크를 요청한다. 동일한 모델과 하드웨어에서 비동기 추론(asynchronous inference)으로 전환하자 시도당 성공률은 비슷하지만 분당 성공적으로 완료한 작업 횟수가 늘었다. 이 개선을 가장 잘 설명하는 것은?
정답: D
해설: SmolVLA는 현재 행동 대기열이 소진되기 전에 새 청크를 요청하여 예측과 실행을 중첩한다. 유휴 시간이 줄면 시도당 성공률이 높아지지 않아도 분당 성공적으로 완료한 작업 횟수가 늘 수 있다. 핵심 원리는 계산과 실행의 중첩이며, 청크 길이 증가나 개별 예측의 계산량 감소, 모터 움직임의 가속이 아니다.
근거: [논문 2506.01844 p.6] [논문 2506.01844 p.12] [영상 260923 33:17] [슬라이드 260923-1 p.13]
arXiv 2511.14759 · 수업 260928 · 난이도 medium · 검증 통과
평가 개념: Retaining poor action examples during training does not mean asking the deployed policy to reproduce them.
Q9 · 객관식 / Multiple choice
Q9 (English)
A lab is improving a laundry-folding VLA using demonstrations and robot trials, including mistakes. A student proposes discarding every low-quality action before training so that the robot will not copy errors. RECAP instead uses advantage conditioning, where advantage measures how much better an action is than expected in its current situation. Why can this approach retain imperfect data while still favoring improved behavior at deployment?
Answer: B
Explanation: RECAP trains on both good and poor actions while distinguishing them through an advantage-based input. At deployment, conditioning on improvement favors better actions. A describes weighting or filtering; C omits quality conditioning; D incorrectly replaces the policy with the value function, which instead supplies advantage estimates.
Q9 (한국어)
한 연구실이 시연과 실수가 포함된 로봇 실행 데이터로 빨래 접기 VLA를 개선하려 한다. 한 학생은 로봇이 오류를 따라 하지 않도록 학습 전에 질이 낮은 행동을 모두 버리자고 제안한다. RECAP은 대신 어드밴티지 조건화(advantage conditioning)를 사용한다. 어드밴티지는 현재 상황에서 기대되는 수준보다 어떤 행동이 얼마나 더 나은지를 나타낸다. 이 접근은 왜 불완전한 데이터를 유지하면서도 실제 실행에서는 개선된 행동을 선호하게 할 수 있는가?
정답: B
해설: RECAP은 좋은 행동과 좋지 않은 행동을 모두 학습하되, 어드밴티지에 기반한 입력으로 구분한다. 실제 실행에서는 개선을 나타내는 조건을 지정해 더 나은 행동을 선호하게 한다. A는 가중치 조절이나 필터링을 설명하고, C는 행동의 질에 따른 조건화를 생략한다. D와 달리 가치 함수는 정책을 대체하지 않고 어드밴티지 추정치를 제공한다.
근거: [논문 2511.14759 p.4] [논문 2511.14759 p.5] [영상 260928 14:21] [슬라이드 260928-1 p.9]
arXiv 2405.03379 · 수업 260928 · 난이도 medium · 검증 통과
평가 개념: 시연의 시작 상태에서 성공하는 것과 다양한 초기 상태로 일반화하는 것을 구분하고, 다음 학습에 적합한 난이도를 선택한다.
Q10 · 객관식 / Multiple choice
Q10 (English)
A simulated robot receives a reward only for successful peg insertion. It learns through a reverse curriculum: episodes start from saved demonstration states near success, then progressively earlier states. It now succeeds from the demonstrations’ starting configurations but often fails with other peg and hole poses. Which next training strategy best follows RFCL’s rationale for generalizing to the task’s broader range of starting configurations?
Answer: B
Explanation: The reverse curriculum develops useful skills around a narrow set of demonstration starts. The forward curriculum expands this coverage by emphasizing starts where rewards are attainable but improvement remains possible. Sampling without prioritization can waste trials on unrewarding starts; consistently failing or already mastered starts do not offer the same balance.
Q10 (한국어)
시뮬레이션 속 로봇은 페그 삽입에 성공할 때만 보상을 받는다. 역방향 커리큘럼(reverse curriculum)에서는 저장된 시연 상태 중 성공에 가까운 상태에서 에피소드를 시작하고, 점차 시연의 앞부분으로 시작점을 옮겨 학습했다. 이제 시연의 초기 배치에서는 성공하지만, 페그와 구멍의 위치·방향이 달라지면 자주 실패한다. 과제의 더 다양한 초기 배치로 일반화하려는 RFCL의 취지에 가장 부합하는 다음 학습 전략은 무엇인가?
정답: B
해설: 역방향 커리큘럼은 좁은 범위의 시연 초기 상태 주변에서 유용한 기술을 형성한다. 순방향 커리큘럼은 보상을 얻을 수 있으면서도 개선 여지가 있는 시작 상태를 우선하여 성공 가능한 범위를 넓힌다. 우선순위 없는 샘플링은 보상을 얻기 어려운 상태에 시행을 낭비할 수 있으며, 지속적으로 실패하거나 이미 숙달한 상태에 집중하는 것도 이러한 균형을 제공하지 못한다.
근거: [논문 2405.03379 p.4] [논문 2405.03379 p.6] [논문 2405.03379 p.8] [영상 260928 59:18] [슬라이드 260928-2 p.14]
arXiv 2505.12705 · 수업 260930 · 난이도 medium · 검증 통과
평가 개념: Distinguish generating new motions from changing the appearance of existing demonstrations.
Q11 · 객관식 / Multiple choice
Q11 (English)
A lab has only pick-and-place demonstrations from a robot but wants it to water flowers, a behavior absent from those demonstrations. A student proposes changing the demonstrations’ backgrounds while preserving their motions. DreamGen instead uses a pretrained video model, adapted to the robot, to create synthetic training data. Which explanation best captures how DreamGen can help teach the new behavior?
Answer: D
Explanation: The adapted video model retains pretrained knowledge that can support behaviors beyond the robot demonstrations. Pseudo-action labeling turns generated motions into policy supervision. A incorrectly assigns behavior generation to the inverse dynamics model. B confuses visual diversity with new-motion supervision. C confuses DreamGen’s offline data generation with planning during deployment.
Q11 (한국어)
한 연구실에는 로봇의 집어 옮기기(pick-and-place) 시연만 있지만, 시연에 없는 행동인 꽃에 물 주기를 로봇에게 가르치려 한다. 한 학생은 시연의 동작은 유지하면서 배경을 바꾸자고 제안한다. DreamGen은 이와 달리 해당 로봇에 맞게 적응시킨 사전학습 비디오 모델로 합성 학습 데이터를 만든다. DreamGen이 새로운 행동을 가르치는 데 어떻게 도움이 되는지 가장 잘 설명한 것은?
정답: D
해설: 로봇에 적응시킨 비디오 모델은 사전학습 지식을 유지하여 로봇 시연에 없는 행동도 생성할 수 있다. 의사 행동 라벨링은 생성된 동작을 정책의 학습 신호로 바꾼다. A는 행동 생성의 역할을 역동역학 모델에 잘못 부여한다. B는 시각적 다양성을 새로운 동작에 대한 학습 신호와 혼동한다. C는 DreamGen의 오프라인 데이터 생성을 배포 시 계획 수립과 혼동한다.
근거: [슬라이드 260930-2 p.5] [슬라이드 260930-2 p.24] [논문 2505.12705 p.2] [논문 2505.12705 p.7]
arXiv 2602.06949 · 수업 260930 · 난이도 medium · 검증 통과
평가 개념: Explain why action-conditioned pretraining remains useful when adaptation changes the action input representation.
Q12 · 객관식 / Multiple choice
Q12 (English)
A lab wants to predict what happens when a robot pushes objects. It has many unlabeled human videos and a small robot video dataset labeled with joint commands. Following DreamDojo, it pretrains with continuous latent actions—compact motion codes extracted from consecutive frames—then adapts the model to robot commands. A student argues that latent-action conditioning is unnecessary because the inputs change during adaptation. Why is keeping it useful?
Answer: A
Explanation: Latent actions provide proxy labels for learning how actions affect future observations. Robot adaptation connects new commands to this transferable interaction knowledge. The codes are not robot joint labels (B), the world model predicts consequences rather than choosing actions (C), and human-video pretraining transfers interaction dynamics, not merely appearance (D).
Q12 (한국어)
로봇이 물체를 밀 때 어떤 일이 일어날지 예측하려는 연구실에, 행동 레이블이 없는 사람 영상은 많고 관절 명령이 기록된 로봇 영상은 적게 있다. DreamDojo에 따라 연속 프레임에서 추출한 움직임의 압축 표현인 연속 잠재 행동(continuous latent actions)을 조건으로 사전학습한 뒤, 로봇 명령을 입력받도록 모델을 적응시킨다. 한 학생은 적응 단계에서 입력이 바뀌므로 잠재 행동 조건부 사전학습은 불필요하다고 주장한다. 그래도 이를 사용하는 이유는 무엇인가?
정답: A
해설: 잠재 행동은 행동이 미래 관측에 미치는 영향을 학습하기 위한 대리 레이블을 제공한다. 로봇 적응은 새로운 명령을 이 전이 가능한 상호작용 지식과 연결한다. 잠재 행동은 로봇 관절 레이블이 아니며(B), 월드 모델은 행동을 선택하는 대신 결과를 예측하고(C), 사람 영상 사전학습은 외관뿐 아니라 상호작용의 동역학도 전이한다(D).
근거: [논문 2602.06949 p.6] [논문 2602.06949 p.7] [슬라이드 260930-1 p.9] [슬라이드 260930-1 p.28]
arXiv 2601.16163 · 수업 261007 · 난이도 medium · 검증 통과
평가 개념: Distinguish the training benefit of future-state prediction from its use for planning at deployment.
Q13 · 객관식 / Multiple choice
Q13 (English)
A lab deploys Cosmos Policy as a direct policy: it executes predicted actions and discards predicted future states, without searching over candidate actions. Here, a future state consists of later camera observations and the robot’s joint state. A student proposes removing future-state prediction from training because those outputs are unused at deployment. Which explanation best supports retaining this training target?
Answer: B
Explanation: Future-state prediction is an auxiliary training objective that improves action learning; its usefulness does not depend on test-time planning. Cosmos Policy generates actions directly and can discard future-state predictions during direct deployment. It does not recover actions from decoded images, replace reward labels with visual realism, or substitute imagined observations for subsequent sensor inputs.
Q13 (한국어)
한 연구실이 Cosmos Policy를 직접 정책(direct policy)으로 사용한다. 후보 행동을 탐색하지 않고 예측한 행동을 실행하며, 예측한 미래 상태는 버린다. 여기서 미래 상태는 이후 시점의 카메라 관측과 로봇 관절 상태를 뜻한다. 한 학생이 배포 시 사용하지 않는 출력이므로 학습에서도 미래 상태 예측을 제거하자고 제안한다. 이 학습 목표를 유지할 이유를 가장 잘 설명한 것은?
정답: B
해설: 미래 상태 예측은 행동 학습을 개선하는 보조 학습 목표이며, 그 효용이 추론 시 계획 수행에 달려 있지는 않다. Cosmos Policy는 행동을 직접 생성하고, 직접 정책으로 배포할 때 미래 상태 예측을 버릴 수 있다. 디코딩한 영상에서 행동을 복원하거나, 시각적 사실성으로 보상 레이블을 대체하거나, 이후 센서 입력을 상상한 관측으로 대체하는 방식은 아니다.
근거: [논문 2601.16163 p.5] [논문 2601.16163 p.6] [논문 2601.16163 p.22] [영상 261007 11:35]
arXiv 2606.02800 · 수업 261007 · 난이도 medium · 검증 통과
평가 개념: 이미 제안된 행동의 결과를 예측하는 것과 새로운 행동·미래 쌍을 생성하는 것을 구분한다.
Q14 · 객관식 / Multiple choice
Q14 (English)
A robot sees a cup beside a fragile object. A planner has already proposed two different push commands and wants to predict the visual consequences of each before execution. Cosmos 3 can accept actions as inputs or generate them as outputs. Which use of the model directly answers the planner’s question, and why?
Answer: A
Explanation: The planner needs forward dynamics: predict future observations while treating each proposed action as a given input. B infers actions from observed transitions. C samples new action–future pairs without fixing the supplied commands. D generates plausible futures without explicitly conditioning on those commands, so it does not establish which outcome corresponds to which command.
Q14 (한국어)
로봇은 깨지기 쉬운 물체 옆에 놓인 컵을 보고 있다. 계획기(planner)는 서로 다른 두 가지 밀기 명령을 이미 제안했고, 실행하기 전에 각 명령이 어떤 시각적 결과를 낳을지 예측하려 한다. Cosmos 3는 행동을 입력으로 받거나 출력으로 생성할 수 있다. 계획기의 요구에 직접 부합하는 사용 방식과 그 이유는 무엇인가?
정답: A
해설: 계획기에는 제안된 각 행동을 주어진 입력으로 두고 미래 관측을 예측하는 순방향 동역학(forward dynamics)이 필요하다. B는 관찰된 상태 변화에서 행동을 추론한다. C는 제공된 명령을 고정하지 않고 새로운 행동·미래 쌍을 샘플링한다. D는 해당 명령을 명시적 조건으로 사용하지 않고 그럴듯한 미래를 생성하므로, 어떤 결과가 어떤 명령에 대응하는지 확립하지 못한다.
근거: [논문 2606.02800 p.10] [논문 2606.02800 p.24] [슬라이드 261007-2 p.13]
arXiv 2601.21998 · 수업 261012 · 난이도 medium · 검증 통과
평가 개념: Apply the distinction between learning visual dynamics and grounding those dynamics in robot actions to a setting with scarce robot demonstrations.
Q15 · 객관식 / Multiple choice
Q15 (English)
A lab wants to teach a robot to fold towels. It has many folding videos without motor-command labels, but few robot demonstrations with recorded commands. LingBot-VA conceptually separates predicting scene evolution from inverse dynamics: inferring actions that produce a desired visual transition. Why is this division useful for learning from the lab’s available data?
Answer: B
Explanation: Visual prediction can learn how objects and scenes evolve from video, while inverse dynamics uses robot demonstrations to connect visual transitions to executable actions. A confuses visible motion with motor-command labels; C describes reward-based search; D omits the explicit visual dynamics learning central to LingBot-VA.
Q15 (한국어)
한 연구실이 로봇에게 수건 접기를 가르치려 한다. 모터 명령 레이블이 없는 수건 접기 영상은 많지만, 명령이 기록된 로봇 시연은 적다. LingBot-VA는 장면의 변화를 예측하는 역할과 원하는 시각적 상태 전이를 만들어 내는 행동을 추론하는 역동역학(inverse dynamics)의 역할을 개념적으로 구분한다. 이 구분은 연구실이 가진 데이터로 학습하는 데 왜 유용한가?
정답: B
해설: 시각적 예측은 영상에서 물체와 장면이 어떻게 변하는지 학습하고, 역동역학은 로봇 시연을 이용해 시각적 상태 전이를 실행 가능한 행동과 연결한다. A는 보이는 움직임을 모터 명령 레이블과 혼동하고, C는 보상 기반 탐색을 설명하며, D는 LingBot-VA의 핵심인 명시적 시각 동역학 학습을 누락한다.
근거: [논문 2601.21998 p.4] [논문 2601.21998 p.6] [슬라이드 261012-1 p.7] [영상 261012 06:03]
arXiv 2602.15922 · 수업 261012 · 난이도 medium · 검증 통과
평가 개념: Distinguish transferring visual task dynamics from transferring robot motor commands.
Q16 · 객관식 / Multiple choice
Q16 (English)
A lab has trained DreamZero, a robot policy built on a pretrained video generator, using demonstrations with recorded robot actions. It adds videos of humans untying knots, a task absent from the robot demonstrations. These human videos have no action labels, and the original robot data are retained during training. Which explanation best accounts for how the human videos can help?
Answer: A
Explanation: Human videos improve predictions of how the task unfolds, while action-labeled robot demonstrations connect visual changes to executable actions through joint video–action learning. This transfers task dynamics without directly copying human commands (B), generating action labels with a separate model (C), or composing separate skill controllers (D).
Q16 (한국어)
한 연구실이 사전 학습된 비디오 생성 모델 기반의 로봇 정책인 DreamZero를 행동이 기록된 로봇 시연으로 학습했다. 이후 기존 로봇 시연에 없던 과제인 매듭 풀기를 사람이 수행하는 영상을 추가한다. 이 사람 영상에는 행동 레이블이 없으며, 추가 학습에서도 기존 로봇 데이터를 함께 사용한다. 사람 영상이 로봇의 과제 수행에 도움이 될 수 있는 이유를 가장 잘 설명한 것은?
정답: A
해설: 사람 영상은 과제가 시각적으로 전개되는 과정의 예측을 개선하고, 행동 레이블이 있는 로봇 시연은 비디오·행동 공동 학습을 통해 시각적 변화를 실행 가능한 행동과 연결한다. 이는 사람의 명령을 직접 복사하거나(B), 별도 모델로 행동 레이블을 생성하거나(C), 개별 스킬 제어기를 조합하는(D) 방식이 아니라 과제의 동역학을 전이하는 방식이다.
근거: [논문 2602.15922 p.7] [논문 2602.15922 p.15] [영상 261012 1:06:24] [슬라이드 261012-2 p.7] [슬라이드 261012-2 p.23]
arXiv 2508.19236 · 수업 261014 · 난이도 medium · 검증 통과
평가 개념: 버튼을 누르기 전후가 현재 영상만으로 모호한 상황에 지각 기억과 인지 기억의 상보성을 적용한다.
Q17 · 객관식 / Multiple choice
Q17 (English)
A robot must clear each object from a table and press a counter button once after each removal. Its current image shows the hand near the button, without revealing whether it is descending to press or rising after a press. MemoryVLA stores perceptual memory (visual details) and cognitive memory (semantic summaries) of past observations. Which explanation best motivates keeping both for this task?
Answer: A
Explanation: Both streams preserve past experience at different levels of abstraction. Cognitive memory helps track task progress; perceptual memory retains local motion cues that help determine whether pressing is still needed. B incorrectly treats the streams as redundant action predictors, C divides them into future plans and completed steps, and D divides them by retention timescale.
Q17 (한국어)
로봇은 탁자에서 물체를 하나씩 치우고, 치울 때마다 계수 버튼을 한 번 눌러야 한다. 현재 영상에는 손이 버튼 근처에 있지만, 누르려고 내려가는 중인지 이미 누른 뒤 올라가는 중인지는 드러나지 않는다. MemoryVLA는 과거 관찰을 지각 기억(perceptual memory: 시각적 세부 정보)과 인지 기억(cognitive memory: 의미적 요약)으로 저장한다. 이 작업에서 두 기억을 함께 유지하는 이유로 가장 적절한 것은?
정답: A
해설: 두 기억은 서로 다른 추상화 수준에서 과거 경험을 보존한다. 인지 기억은 작업 진행 상황의 추적을 돕고, 지각 기억은 아직 버튼을 눌러야 하는지 판단하는 데 필요한 국소적인 동작 단서를 유지한다. B는 두 기억을 중복된 행동 예측기로, C는 미래 계획과 완료한 단계의 구분으로, D는 기억 유지 시간의 구분으로 잘못 이해한 설명이다.
근거: [영상 261014 32:40] [슬라이드 261014-1 p.9] [논문 2508.19236 p.5] [논문 2508.19236 p.6]
arXiv 2603.16666 · 수업 261014 · 난이도 medium · 검증 통과
평가 개념: Figure 1(C)에서 추론 시 미래 영상 생성을 생략하는 것과 학습 시 영상 예측 목표를 제거하는 것이 같은 선택인지 판단하게 한다.
Q18 · 객관식 / Multiple choice

Source / 출처: Fast-WAM: Do World Action Models Need Test-Time Future Imagination?, Figure 1, p.2 — 원문 그림 발췌 / Original figure excerpt.
Figure 1: training is above and inference below; columns compare three world-action model designs. Blue tokens represent video and yellow tokens actions. Video/Action DiT are video/action processing modules; KV cache stores reusable intermediate representations. Focus on which computations occur during training and inference, not token indices or attention-mask details.
원 논문 Figure 1. 위는 학습, 아래는 추론이며, 세 열은 서로 다른 월드 액션 모델 설계다. 파란 토큰은 영상, 노란 토큰은 행동을 나타낸다. Video/Action DiT는 각각 영상/행동 처리 모듈이다. KV cache는 재사용하는 중간 표현이다. f와 a의 첨자나 attention mask 규칙이 아니라 학습과 추론에서 어떤 계산을 하는지에 주목하라.
Q18 (English)
A team is training a towel-folding robot for faster responses. Comparing the designs in Figure 1, an engineer chooses (C) but proposes removing its video-prediction training objective as well, since deployment generates no future video. This objective trains the model to predict future observations alongside actions. Which response best explains why Fast-WAM keeps this objective?
Answer: C
Explanation: Video prediction provides a training signal that can improve representations used for control. In Figure 1(B), the video module encodes the current observation at inference; its cache does not contain generated future observations. Removing video co-training caused a larger performance drop than skipping test-time imagination in the reported comparisons. Video supervision supplements demonstrated-action supervision rather than replacing it.
Q18 (한국어)
한 팀이 더 빠르게 반응하는 수건 접기 로봇을 학습시키고 있다. Figure 1의 설계를 비교한 엔지니어는 (C)를 선택하면서, 배포 시 미래 영상을 생성하지 않으므로 영상 예측 학습 목표도 제거하자고 제안한다. 이 목표는 행동 예측과 함께 미래 관측을 예측하도록 모델을 학습시킨다. Fast-WAM이 이 목표를 유지하는 이유를 가장 잘 설명하는 답변은 무엇인가?
정답: C
해설: 영상 예측은 제어에 쓰이는 표현을 개선할 수 있는 학습 신호를 제공한다. Figure 1(B)에서 영상 모듈은 추론 시 현재 관측을 인코딩하며, 그 캐시에 생성된 미래 관측이 들어 있는 것은 아니다. 보고된 비교에서는 추론 시 미래 상상을 생략하는 것보다 영상 공동 학습을 제거했을 때 성능 하락이 더 컸다. 영상 감독은 시연 행동에 대한 감독을 대체하지 않고 보완한다.
근거: [슬라이드 261014-2 p.7] [영상 261014 51:45] [논문 2603.16666 p.5] [논문 2603.16666 p.8]
arXiv 2303.04137 · 수업 260914 · 난이도 easy · 검증 통과
평가 개념: Two valid routes have an invalid average.
E1 · 객관식 / Multiple choice
E1 (English)
A robot’s demonstrations show two successful ways around an obstacle: going left or going right. Averaging these routes would send the robot into the obstacle. Why is Diffusion Policy’s action generation suitable for learning from these demonstrations?
Answer: A
Explanation: The demonstrations contain multiple valid behavior modes. Diffusion Policy can represent these alternatives and generate a sequence following one of them instead of averaging them. It denoises action sequences conditioned on observations; it does not denoise camera images or treat valid behavioral alternatives as noise to discard.
E1 (한국어)
로봇의 시연에는 장애물을 성공적으로 우회하는 두 방법이 있다. 하나는 왼쪽으로, 다른 하나는 오른쪽으로 가는 것이다. 두 경로를 평균하면 로봇이 장애물에 부딪히게 된다. Diffusion Policy의 행동 생성 방식이 이러한 시연을 학습하기에 적합한 이유는 무엇인가?
정답: A
해설: 이 시연에는 여러 유효한 행동 모드가 존재한다. Diffusion Policy는 이 대안들을 표현하고, 평균을 내는 대신 그중 하나를 따르는 시퀀스를 생성할 수 있다. 관측을 조건으로 행동 시퀀스의 잡음을 제거하며, 카메라 영상의 잡음을 제거하거나 유효한 행동 대안을 버려야 할 잡음으로 취급하지 않는다.
근거: [영상 260914 42:43] [영상 260914 46:09] [슬라이드 260914-2 p.13] [논문 2303.04137 p.5]
arXiv 2406.09246 · 수업 260914 · 난이도 easy · 검증 통과
평가 개념: 로봇 시연이 사전학습 VLM의 이미지·언어 이해를 직접 행동 예측으로 연결하는 역할을 확인한다.
E2 · 객관식 / Multiple choice
E2 (English)
A lab has a pretrained vision-language model (VLM) that interprets images and text, but wants its robot to follow “put the cup in the bowl.” How does OpenVLA use robot demonstrations to turn the VLM into a robot policy?
Answer: A
Explanation: OpenVLA fine-tunes a pretrained VLM on robot demonstrations for direct action prediction, building on its existing visual and language knowledge. B describes a separate planner–controller system, C describes trajectory retrieval, and D discards the pretrained initialization.
E2 (한국어)
한 연구실에는 이미지와 텍스트를 해석하는 사전학습된 시각-언어 모델(VLM)이 있으며, 로봇이 “컵을 그릇에 넣어라”라는 지시를 수행하게 하려 한다. OpenVLA는 로봇 시연을 어떻게 활용하여 이 VLM을 로봇 정책으로 바꾸는가?
정답: A
해설: OpenVLA는 기존의 시각·언어 지식을 바탕으로 행동을 직접 예측하도록 사전학습된 VLM을 로봇 시연으로 미세조정한다. B는 계획기와 제어기를 분리한 시스템, C는 궤적 검색 방식이며, D는 사전학습된 초기 가중치를 버리는 방식이다.
근거: [논문 2406.09246 p.5] [영상 260914 02:07] [슬라이드 260914-1 p.2]
arXiv 2304.13705 · 수업 260916 · 난이도 easy · 검증 통과
평가 개념: Distinguish action chunking’s purpose from smoothing, physical modeling, and expert correction.
E3 · 객관식 / Multiple choice
E3 (English)
A robot learning from demonstrations makes small action errors that accumulate during a precise insertion task. ACT uses action chunking: predicting a short sequence of future actions together. What is the main reason this design helps address the accumulating errors?
Answer: D
Explanation: Grouping actions into a single prediction shortens the effective chain of sequential decisions, mitigating compounding errors. Chunking itself does not average neighboring actions, construct a contact model, or obtain new expert corrections.
E3 (한국어)
시연으로 학습한 로봇이 정밀한 삽입 작업 중 작은 행동 오차가 누적되는 문제를 겪는다. ACT는 여러 미래 행동을 짧은 시퀀스로 묶어 함께 예측하는 행동 청킹(action chunking)을 사용한다. 이 설계가 오차 누적을 줄이는 데 도움이 되는 핵심 이유는 무엇인가?
정답: D
해설: 여러 행동을 하나의 예측으로 묶으면 순차적으로 이어지는 의사결정의 유효 길이가 줄어 오차 누적을 완화한다. 청킹 자체가 이웃한 행동을 평균하거나, 접촉 모델을 구성하거나, 새로운 전문가 교정을 얻는 것은 아니다.
근거: [논문 2304.13705 p.2] [논문 2304.13705 p.4] [영상 260916 13:13] [슬라이드 260916-2 p.13]
arXiv 2602.06949 · 수업 260930 · 난이도 easy · 검증 통과
평가 개념: 컵을 잡는 상황에서 정책의 행동 선택과 월드 모델의 행동 결과 예측을 구분한다.
E4 · 객관식 / Multiple choice
E4 (English)
A robot is about to grasp a cup. Its system includes a robot policy and DreamDojo, which receives the current camera image and a candidate action. Which statement correctly describes the roles of these two components?
Answer: B
Explanation: The policy chooses what the robot should do. DreamDojo takes the current observation and a supplied action and predicts the resulting future observations; it simulates the action’s consequences rather than selecting the action.
E4 (한국어)
로봇이 컵을 잡으려고 한다. 이 시스템에는 로봇 정책(policy)과 DreamDojo가 있으며, DreamDojo는 현재 카메라 영상과 후보 행동을 입력받는다. 두 구성 요소의 역할을 올바르게 설명한 것은?
정답: B
해설: 정책은 로봇이 무엇을 할지 선택한다. DreamDojo는 현재 관측과 주어진 행동을 입력받아 이후 관측을 예측한다. 즉, 행동을 선택하는 것이 아니라 해당 행동의 결과를 시뮬레이션한다.
근거: [슬라이드 260930-1 p.4] [영상 260930 05:13] [논문 2602.06949 p.3]
arXiv 2508.19236 · 수업 261014 · 난이도 easy · 검증 통과
평가 개념: 같은 현재 영상에서도 과거 행동에 따라 작업 진행 상태가 달라질 수 있음을 확인한다.
E5 · 객관식 / Multiple choice
E5 (English)
A robot must press a button once, then move on. After it releases the button and returns its arm, the camera image is identical to the image before pressing. Why does MemoryVLA benefit from retrieving past interaction information when choosing its next action?
Answer: C
Explanation: The same image can correspond to both “not yet pressed” and “already pressed.” Retrieved history supplies the missing task-progress information. Sharper images, instruction recall, or future plans do not establish what actually happened.
E5 (한국어)
로봇은 버튼을 한 번 누른 뒤 다음 작업으로 넘어가야 한다. 버튼에서 손을 떼고 팔을 원래 위치로 되돌리면 카메라 영상은 버튼을 누르기 전과 동일하다. MemoryVLA가 다음 행동을 선택할 때 과거 상호작용 정보를 검색하는 것이 도움이 되는 이유는 무엇인가?
정답: C
해설: 같은 영상이 ‘아직 누르지 않음’과 ‘이미 누름’ 모두에 대응할 수 있다. 검색한 과거 이력은 영상에 없는 작업 진행 정보를 제공한다. 영상 선명도 향상, 지시 회상, 미래 행동 계획만으로는 실제로 무엇이 일어났는지 확인할 수 없다.
근거: [논문 2508.19236 p.1] [논문 2508.19236 p.4] [영상 261014 04:42] [슬라이드 261014-1 p.4]