Seminar Robot Learning · Đọc phân tích lập luận bài báo khoa học · CoRL 2026

SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model Mở rộng điều khiển toàn thân robot hình người bằng một mô hình thế giới khả vi duy nhất

Qiayuan Liao, Yiyang Shao*, Junfeng Long*, Kevin Zakka, Roberto Horowitz, Pieter Abbeel†, Koushil Sreenath† · UC Berkeley · 10th Conference on Robot Learning (CoRL 2026), Austin TX · arXiv:2610.28480v2 · GitHub: HybridRobotics/supermimic · supermimic.github.io
Chú giải màu Vàng = Luận điểm cốt lõi Đỏ = Khái niệm / thuật ngữ then chốt Xanh dương = Bằng chứng thực nghiệm / số liệu Xanh lá = Nhượng bộ / phản bác Tím = Giải thích phương pháp
Văn bản gốc (English) · Bản dịch tiếng Việt
Chú giải lập luận

Abstract Tóm tắt · kèm Hình 1 (trang bìa)

Hình 1 · chú thích

Figure 1: A learned differentiable world model trains a humanoid whole-body controller and reduces GPU-hours by more than 1000× versus cluster-scale model-free reinforcement learning (§4.1). Left: the policy improves through imagined rollouts of the world model. Right: 128 L40 GPUs train for 168 h in SONIC [1], against one H100 for 3 h in this work.


Hình 1: Một mô hình thế giới khả vi được học từ dữ liệu có thể huấn luyện bộ điều khiển toàn thân cho robot hình người, đồng thời giảm số giờ-GPU hơn 1000 lần so với học tăng cường không mô hình chạy trên cả cụm máy (§4.1). Bên trái: chính sách được cải thiện dần qua các lượt triển khai “tưởng tượng” bên trong mô hình thế giới. Bên phải: SONIC [1] cần 128 GPU L40 chạy liên tục 168 giờ, trong khi nghiên cứu này chỉ dùng một GPU H100 trong 3 giờ.

Tóm tắt · ¶1 (vấn đề → giải pháp)

Tracking large human-motion datasets has become the dominant route to general, expressive humanoid whole-body control, but scaling across many motions is expensive. Current pipelines use model-free reinforcement learning, either merging per-motion specialists through lossy distillation, or brute-forcing a single policy with cluster-scale compute. SuperMimic amortizes learning across all motions with one differentiable world model of their shared dynamics, fit from logged transitions of a standard rigid-body simulator. The world model and the tracking policy train together in one loop, and backpropagation-through-time over short imagined rollouts gives the policy analytic gradients. Fast imagined rollouts and analytic gradients make policy learning efficient.


Bám theo các bộ dữ liệu chuyển động người quy mô lớn đã trở thành con đường chủ đạo để đạt tới khả năng điều khiển toàn thân vừa tổng quát vừa giàu biểu cảm cho robot hình người; tuy nhiên, mở rộng sang thật nhiều chuyển động lại rất tốn kém. Các quy trình hiện nay đều dựa vào học tăng cường không mô hình: hoặc gộp các chính sách chuyên biệt cho từng chuyển động bằng phương pháp chưng cất vốn làm thất thoát thông tin, hoặc dùng sức mạnh tính toán cấp cụm máy để “cưỡng ép” huấn luyện một chính sách duy nhất. SuperMimic khấu hao quá trình học trên toàn bộ các chuyển động nhờ một mô hình thế giới khả vi duy nhất, mô tả động lực học mà mọi chuyển động cùng chia sẻ, được khớp từ dữ liệu chuyển trạng thái ghi lại trong một trình mô phỏng vật rắn tiêu chuẩn. Mô hình thế giới và chính sách bám chuyển động được huấn luyện song song trong cùng một vòng lặp; lan truyền ngược theo thời gian qua các lượt triển khai tưởng tượng ngắn cung cấp cho chính sách gradient giải tích. Chính tốc độ triển khai tưởng tượng và gradient giải tích làm cho việc học chính sách trở nên hiệu quả.

Tóm tắt · ¶2 (kết quả → kết luận)

In 3 hours on a single GPU, SuperMimic surpasses the return of a state-of-the-art motion tracker baseline trained for 7 days on 128 GPUs. It reduces GPU-hours by more than 1000× and fails on only 25 of 129,514 benchmark motions, versus 179 failures for the baseline. After 9.8 hours on two GPUs, SuperMimic achieves zero failures. From 1 to 264 hours of motion, the world model’s prediction error stays stable, and GPU-hours to a target return grow slowly. Our policy transfers to a physical Unitree G1 across diverse and acrobatic motions. SuperMimic removes compute as the bottleneck to scaling humanoid whole-body control, making it practical to measure motion-tracking scaling laws.


Chỉ trong 3 giờ trên một GPU, SuperMimic đã vượt mức return của một bộ bám chuyển động tiên tiến nhất vốn được huấn luyện 7 ngày trên 128 GPU. Phương pháp giảm số giờ-GPU hơn 1000 lần và chỉ thất bại ở 25 trên tổng số 129.514 chuyển động của bộ đánh giá, so với 179 thất bại của phương pháp đối chứng. Sau 9,8 giờ trên hai GPU, SuperMimic không còn thất bại ở chuyển động nào. Khi dữ liệu tăng từ 1 lên 264 giờ chuyển động, sai số dự đoán của mô hình thế giới vẫn ổn định, còn số giờ-GPU cần để đạt một mức return mục tiêu chỉ tăng chậm. Chính sách của chúng tôi chuyển giao được sang robot Unitree G1 thật với nhiều chuyển động đa dạng, kể cả nhào lộn. SuperMimic loại bỏ tính toán khỏi vai trò nút thắt trong việc mở rộng điều khiển toàn thân robot hình người, giúp việc đo đạc các quy luật mở rộng (scaling laws) của bài toán bám chuyển động trở nên khả thi.

1 · Introduction Giới thiệu

¶1.1 · Bối cảnh

Humanoid robots hold the promise of operating in environments designed for people, but doing so requires whole-body controllers that span diverse human motion, from locomotion and dance to crouching and balance recovery. Physics-based motion imitation addresses this by training RL policies to track reference motion clips [2] drawn from large motion-capture (mocap) datasets [1].


Robot hình người hứa hẹn khả năng hoạt động trong những môi trường vốn được thiết kế cho con người. Muốn vậy, chúng cần những bộ điều khiển toàn thân bao quát được sự đa dạng của chuyển động người, từ đi lại, nhảy múa đến cúi người và lấy lại thăng bằng. Bắt chước chuyển động dựa trên vật lý đáp ứng yêu cầu này bằng cách huấn luyện các chính sách học tăng cường bám theo những đoạn chuyển động tham chiếu [2], được trích từ các bộ dữ liệu ghi hình chuyển động (mocap) quy mô lớn [1].

¶1.2 · Vấn đề & chẩn đoán

Existing systems scale this idea either by distilling many clip-specific experts into one controller [3] or by training a generalist policy over a large motion library [1]. In both cases, a more diverse motion library produces a more capable controller. But both also become computationally expensive as motion coverage grows: the state-of-the-art tracker SONIC [1], for example, trains for ∼168 h on 128 GPUs, totaling roughly 21,000 GPU-hours. Although reference motions differ, they share the same humanoid hybrid rigid-body dynamics. Model-free RL fails to explicitly model this shared structure, instead repeatedly estimating action consequences from noisy simulator rollouts. Scaling to more motions therefore amounts to scaling up compute.


Các hệ thống hiện có mở rộng ý tưởng này theo một trong hai cách: chưng cất nhiều chính sách chuyên gia, mỗi chính sách dành riêng cho một đoạn chuyển động, thành một bộ điều khiển duy nhất [3]; hoặc huấn luyện một chính sách tổng quát trên cả một thư viện chuyển động lớn [1]. Ở cả hai cách, thư viện chuyển động càng đa dạng thì bộ điều khiển càng mạnh. Thế nhưng cả hai cũng trở nên đắt đỏ về tính toán khi phạm vi chuyển động mở rộng. Chẳng hạn, SONIC [1], bộ bám chuyển động tiên tiến nhất hiện nay, phải huấn luyện khoảng 168 giờ trên 128 GPU, tức xấp xỉ 21.000 giờ-GPU. Dù các chuyển động tham chiếu khác nhau, chúng đều được thực hiện trên cùng một động lực học vật rắn lai của robot hình người. Học tăng cường không mô hình không mô hình hóa tường minh cấu trúc chung này, mà cứ lặp đi lặp lại việc ước lượng hệ quả của hành động từ những lượt mô phỏng nhiễu. Vì thế, mở rộng sang nhiều chuyển động hơn rốt cuộc chỉ có nghĩa là mở rộng tài nguyên tính toán.

¶1.3 · Luận điểm trung tâm

SuperMimic addresses this inefficiency with a single learned, differentiable world model fit from logged simulator transitions. Backpropagation-through-time (BPTT) through short imagined rollouts provides analytic policy gradients through the learned model, allowing one dynamics model to amortize learning across the entire mocap library. Because these gradients come from the learned model rather than from differentiating the simulator, SuperMimic remains compatible with rigid-body simulators, including those with non-smooth contacts and non-differentiable implementations.


SuperMimic khắc phục sự kém hiệu quả này bằng một mô hình thế giới khả vi duy nhất, được học từ các chuyển trạng thái ghi lại trong trình mô phỏng. Lan truyền ngược theo thời gian (BPTT) qua những lượt triển khai tưởng tượng ngắn mang lại gradient chính sách giải tích thông qua mô hình đã học. Nhờ đó, một mô hình động lực học duy nhất có thể khấu hao quá trình học trên toàn bộ thư viện mocap. Vì gradient đến từ mô hình đã học chứ không phải từ việc lấy đạo hàm qua trình mô phỏng, SuperMimic vẫn tương thích với các trình mô phỏng vật rắn thông thường, kể cả những trình mô phỏng có tiếp xúc không trơn hoặc được cài đặt theo cách không khả vi.

¶1.4 · Tóm lược kết quả

On one GPU, SuperMimic surpasses the normalized return of SONIC’s released checkpoint within 3 h and reduces GPU-hours by more than 1000× (§4.1). On a 129,514-motion benchmark, SuperMimic fails on 25 motions after 3 h on one GPU and on none after 9.8 h on two GPUs, against 179 for SONIC’s released checkpoint (Appendix F). Across a 264× increase in dataset length, the world model’s prediction error stays stable and SuperMimic’s compute to a fixed return grows slowly. The learned policy transfers to a physical Unitree G1. In a preliminary study of downstream interfaces, an RL-trained velocity encoder outperforms a distillation baseline.


Trên một GPU, SuperMimic vượt qua mức return chuẩn hóa của checkpoint SONIC đã công bố chỉ trong vòng 3 giờ và giảm số giờ-GPU hơn 1000 lần (§4.1). Trên bộ đánh giá gồm 129.514 chuyển động, SuperMimic chỉ thất bại ở 25 chuyển động sau 3 giờ trên một GPU, và không thất bại ở chuyển động nào sau 9,8 giờ trên hai GPU, trong khi checkpoint của SONIC thất bại ở 179 chuyển động (Phụ lục F). Khi độ dài dữ liệu tăng 264 lần, sai số dự đoán của mô hình thế giới vẫn ổn định, còn lượng tính toán cần để đạt một mức return cố định chỉ tăng chậm. Chính sách học được chuyển giao thành công sang robot Unitree G1 thật. Trong một nghiên cứu sơ bộ về các giao diện điều khiển hạ nguồn, bộ mã hóa vận tốc huấn luyện bằng RL cho kết quả tốt hơn phương án chưng cất.

¶1.5 · Đóng góp 1

Model-based RL (MBRL) for deployable humanoid control. We demonstrate that BPTT through a learned, differentiable world model can train whole-body tracking policies in a setting long dominated by model-free proximal policy optimization (PPO) [4], and that the resulting controller transfers to a physical Unitree G1.


Học tăng cường dựa trên mô hình (MBRL) cho điều khiển robot hình người có thể triển khai thực tế. Chúng tôi chứng minh rằng BPTT qua một mô hình thế giới khả vi được học có thể huấn luyện chính sách bám chuyển động toàn thân trong một lĩnh vực mà từ lâu thuật toán không mô hình PPO [4] vẫn chiếm ưu thế, và bộ điều khiển thu được có thể chuyển giao sang robot Unitree G1 thật.

¶1.6 · Đóng góp 2

Compute is no longer the bottleneck to scaling. SuperMimic surpasses the return of SONIC, a cluster-scale PPO pipeline, on a single GPU and reduces GPU-hours by more than 1000× (§4.1). Its training cost grows slowly as the motion library expands, making scaling humanoid whole-body control practical without huge GPU infrastructure.


Tính toán không còn là nút thắt cho việc mở rộng quy mô. Chỉ với một GPU, SuperMimic đã vượt return của SONIC, một quy trình PPO chạy trên cả cụm máy, và giảm số giờ-GPU hơn 1000 lần (§4.1). Chi phí huấn luyện của nó tăng chậm khi thư viện chuyển động mở rộng, nhờ vậy việc mở rộng điều khiển toàn thân robot hình người trở nên khả thi mà không cần hạ tầng GPU khổng lồ.

¶1.7 · Đóng góp 3

An analysis of the ingredients behind the gains. We identify three world-model properties behind the compute reduction: prediction error that stays stable over a 264× increase in dataset length, rollouts more than 10× faster than the simulator, and analytic gradients, with which the policy reaches the best return of PPO on the world model with about 64× fewer imagined steps.


Phân tích các yếu tố tạo nên hiệu quả. Chúng tôi xác định ba đặc tính của mô hình thế giới lý giải cho mức giảm chi phí tính toán: sai số dự đoán giữ ổn định khi độ dài dữ liệu tăng 264 lần; tốc độ triển khai nhanh hơn trình mô phỏng trên 10 lần; và gradient giải tích, nhờ đó chính sách đạt được mức return tốt nhất của PPO trên cùng mô hình thế giới với số bước tưởng tượng ít hơn khoảng 64 lần.

¶1.8 · Đóng góp 4

RL-trained downstream control beyond distillation. As a preliminary study, the same learned world model trains a downstream goal encoder on the interface’s own task reward. On velocity commands, the policy tracks more accurately with this encoder than with a distillation baseline.


Điều khiển hạ nguồn huấn luyện bằng RL, vượt ra ngoài chưng cất. Trong một nghiên cứu sơ bộ, chính mô hình thế giới đã học được dùng để huấn luyện một bộ mã hóa mục tiêu hạ nguồn theo phần thưởng nhiệm vụ riêng của giao diện đó. Với lệnh vận tốc, chính sách dùng bộ mã hóa này bám lệnh chính xác hơn so với phương án chưng cất.

2 · Related Work Công trình liên quan

¶2.1 · Bám chuyển động quy mô lớn

Large-scale physics-based motion tracking. Physics-based motion imitation learns controllers that reproduce reference motions under contact-rich rigid-body dynamics. DeepMimic [2] demonstrated expressive character skills through model-free reinforcement learning, and PHC [11] extended this paradigm to large motion sets with robust recovery. SONIC [1] further demonstrated that scaling motion data, policy capacity, and training compute produces generalist controllers that transfer to humanoid hardware. These results establish motion tracking as a practical route to broad whole-body behavior coverage. However, training these large-scale motion trackers requires extensive simulator rollouts and substantial computation. SuperMimic addresses this bottleneck by learning a differentiable dynamics model shared across all motions, so policy improvement can exploit analytic gradients rather than model-free rollout estimates.


Bám chuyển động dựa trên vật lý ở quy mô lớn. Bắt chước chuyển động dựa trên vật lý học ra các bộ điều khiển có khả năng tái hiện chuyển động tham chiếu dưới động lực học vật rắn giàu tiếp xúc. DeepMimic [2] cho thấy có thể đạt được các kỹ năng nhân vật giàu biểu cảm bằng học tăng cường không mô hình, và PHC [11] mở rộng mô hình này sang các tập chuyển động lớn kèm khả năng phục hồi bền vững. SONIC [1] tiến thêm một bước khi chứng minh rằng tăng quy mô dữ liệu chuyển động, dung lượng chính sách và lượng tính toán huấn luyện sẽ tạo ra những bộ điều khiển tổng quát có thể chuyển giao sang phần cứng robot hình người. Các kết quả này khẳng định bám chuyển động là con đường thực tiễn để bao quát rộng các hành vi toàn thân. Tuy vậy, huấn luyện những bộ bám chuyển động quy mô lớn như thế đòi hỏi khối lượng mô phỏng khổng lồ và tài nguyên tính toán đáng kể. SuperMimic giải quyết nút thắt này bằng cách học một mô hình động lực học khả vi dùng chung cho mọi chuyển động, để việc cải thiện chính sách có thể dựa vào gradient giải tích thay cho các ước lượng từ lượt triển khai không mô hình.

Bảng 1 · So sánh chiến lược huấn luyện
Method Mimic Latent Downstream Task signal Real robot
NPMP [5] SVG(0) BC SVG(0) RL ✗
ControlVAE [6] MBRL MBRL RL ✗
PhysicsVAE [7] PPO BC¹ PPO RL ✗
PULSE [8] PPO DAgger PPO RL ✗
MaskedMimic [9] A2C DAgger Distill ✗
BeyondMimic [3] PPO DAgger CGD Distill ✓
SONIC [1] PPO Distill² ✓
LATENT [10] PPO DAgger PPO RL ✓
SuperMimic MBRL Distill / RL ✓

Table 1: Comparison of various methods and their training strategies across different stages. The Mimic, Latent, and Downstream columns indicate the training strategy used at each stage. Task signal is what trains the downstream interface: its own task reward (RL) or a reference-tracking signal (Distill). Merged cells denote jointly trained stages, while adjacent unmerged cells indicate sequential training, with each stage trained after freezing the previous one. SVG(0): stochastic value gradients; BC: offline behavior cloning on fixed expert rollouts, as opposed to DAgger’s student rollouts; CGD: classifier guidance diffusion; A2C: advantage actor–critic; DAgger: dataset aggregation. ¹Behavior cloning with a one-step next-state consistency term through a frozen, learned dynamics model. ²Goal encoders train jointly with the tracker on the motion-tracking reward and latent-alignment losses; no task-specific reward.


Bảng 1: So sánh các phương pháp và chiến lược huấn luyện ở từng giai đoạn. Các cột Mimic, Latent và Downstream cho biết chiến lược dùng ở mỗi giai đoạn tương ứng: bắt chước, biểu diễn ẩn và nhiệm vụ hạ nguồn. “Tín hiệu nhiệm vụ” là thứ dùng để huấn luyện giao diện hạ nguồn: hoặc phần thưởng nhiệm vụ riêng của nó (RL), hoặc tín hiệu bám theo tham chiếu (chưng cất). Các ô gộp biểu thị những giai đoạn được huấn luyện đồng thời; các ô liền kề không gộp biểu thị huấn luyện tuần tự, giai đoạn sau chỉ bắt đầu khi giai đoạn trước đã được đóng băng. SVG(0): gradient giá trị ngẫu nhiên; BC: nhân bản hành vi ngoại tuyến trên các quỹ đạo chuyên gia cố định, khác với DAgger vốn dùng quỹ đạo của chính mô hình học trò; CGD: khuếch tán có dẫn hướng bằng bộ phân loại; A2C: actor–critic dùng lợi thế; DAgger: tổng hợp tập dữ liệu. ¹Nhân bản hành vi kèm một số hạng nhất quán trạng thái kế tiếp một bước, tính qua mô hình động lực học đã học và đóng băng. ²Bộ mã hóa mục tiêu được huấn luyện cùng bộ bám chuyển động bằng phần thưởng bám chuyển động và các hàm mất mát căn chỉnh không gian ẩn, không dùng phần thưởng riêng cho nhiệm vụ.

¶2.2 · Động lực học khả vi được học

Learned differentiable dynamics for motion control. SuperTrack [12] optimizes motion-control policies through a learned differentiable surrogate of the simulator. ControlVAE [6] jointly learns a dynamics model, latent skill representation, and generative controller, while MoConVQ [13] extends learned-model training to discrete motion representations over tens of hours of data. SuperDyno [14] scales differentiable neural dynamics to tens of thousands of motion clips. These methods establish the effectiveness of learned dynamics and analytic policy gradients for scalable simulated-character control. SuperMimic extends this direction to single-GPU training of a large-scale humanoid tracker and to its sim-to-real deployment: its world model conditions on simulator context, while the deployed actor uses noisy proprioceptive observations and a goal input (§3.2). We evaluate how model accuracy, rollout throughput, and differentiable policy updates contribute to training efficiency, and how prediction error behaves as motion coverage grows (§4.1–4.2), and demonstrate physical deployment of the resulting controller (§4.4).


Động lực học khả vi được học cho điều khiển chuyển động. SuperTrack [12] tối ưu chính sách điều khiển chuyển động thông qua một mô hình thay thế khả vi của trình mô phỏng, được học từ dữ liệu. ControlVAE [6] học đồng thời một mô hình động lực học, một biểu diễn kỹ năng ẩn và một bộ điều khiển sinh. MoConVQ [13] mở rộng cách huấn luyện dựa trên mô hình học được sang biểu diễn chuyển động rời rạc với hàng chục giờ dữ liệu. SuperDyno [14] đưa động lực học nơ-ron khả vi lên quy mô hàng chục nghìn đoạn chuyển động. Các phương pháp này đã khẳng định hiệu quả của động lực học học được và gradient chính sách giải tích trong điều khiển nhân vật mô phỏng ở quy mô lớn. SuperMimic tiếp nối hướng đi này bằng cách huấn luyện một bộ bám chuyển động quy mô lớn cho robot hình người chỉ trên một GPU, rồi triển khai nó từ mô phỏng sang thực tế. Mô hình thế giới của chúng tôi được điều kiện hóa trên ngữ cảnh mô phỏng, còn bộ hành động khi triển khai chỉ dùng quan sát cảm thụ bản thể có nhiễu cùng một đầu vào mục tiêu (§3.2). Chúng tôi đánh giá mức đóng góp của độ chính xác mô hình, thông lượng triển khai và cập nhật chính sách khả vi vào hiệu quả huấn luyện, xem sai số dự đoán biến thiên ra sao khi phạm vi chuyển động mở rộng (§4.1–4.2), và trình diễn việc triển khai bộ điều khiển trên robot thật (§4.4).

¶2.3 · Tối ưu chính sách dựa trên mô hình

Model-based policy optimization and robot deployment. Dreamer [15] and DreamerV3 [16] learn latent dynamics for imagination-based actor–critic learning, while TD-MPC [17] combines short-horizon planning with terminal-value prediction. DayDreamer [18] demonstrates world-model learning directly on physical robots. SHAC [19] uses differentiable simulation for short-horizon actor–critic updates, motivating SuperMimic’s critic-bootstrapped objective. Analytic-gradient robot control can also combine a simplified differentiable surrogate with a high-fidelity forward simulator, as demonstrated for quadruped locomotion [20]. DMO [21] takes a decoupled approach: it rolls out trajectories in the simulator but backpropagates through a learned dynamics model. This mitigates compounding model error, and DMO reports an order-of-magnitude sample-efficiency gain over PPO. However, every policy update still needs fresh simulator rollouts, and each policy learns a single task. SuperMimic instead both rolls out and backpropagates through one learned world model shared across many motions. It accepts some model error in exchange for rollouts that do not depend on simulator throughput (§4.2) and are amortized across motions.


Tối ưu chính sách dựa trên mô hình và triển khai trên robot. Dreamer [15] và DreamerV3 [16] học động lực học trong không gian ẩn để huấn luyện actor–critic bằng trí tưởng tượng; TD-MPC [17] kết hợp lập kế hoạch tầm ngắn với dự đoán giá trị ở điểm cuối. DayDreamer [18] cho thấy có thể học mô hình thế giới trực tiếp trên robot thật. SHAC [19] dùng mô phỏng khả vi cho các cập nhật actor–critic tầm ngắn, và đây chính là nguồn cảm hứng cho mục tiêu có critic làm điểm tựa (bootstrap) của SuperMimic. Điều khiển robot bằng gradient giải tích cũng có thể kết hợp một mô hình thay thế khả vi đơn giản với một trình mô phỏng thuận có độ trung thực cao, như đã được chứng minh với bài toán đi bộ của robot bốn chân [20]. DMO [21] chọn cách tách rời: triển khai quỹ đạo trong trình mô phỏng nhưng lan truyền ngược qua một mô hình động lực học học được. Cách này hạn chế sai số mô hình tích lũy, và DMO báo cáo hiệu quả mẫu cao hơn PPO cả một bậc độ lớn. Tuy nhiên, mỗi lần cập nhật chính sách vẫn cần các lượt mô phỏng mới, và mỗi chính sách chỉ học một nhiệm vụ. Ngược lại, SuperMimic vừa triển khai vừa lan truyền ngược qua cùng một mô hình thế giới dùng chung cho nhiều chuyển động. Phương pháp chấp nhận một mức sai số mô hình nhất định để đổi lấy những lượt triển khai không phụ thuộc vào thông lượng của trình mô phỏng (§4.2) và được khấu hao trên nhiều chuyển động.

¶2.4 · Mô hình thế giới cho robot (RWM)

RWM [22] and RWM-U [23] demonstrate that policies trained in learned neural simulators can transfer to physical robots. Both optimize policies using PPO on imagined rollouts; RWM-U additionally uses uncertainty-penalized offline optimization. SuperMimic instead optimizes the policy by differentiating the return through its learned dynamics. RWM and RWM-U pretrain the world model on trajectories from other policies. In contrast, SuperMimic fits its world model during training on data its own policy collects.


RWM [22] và RWM-U [23] cho thấy chính sách huấn luyện trong các trình mô phỏng nơ-ron học được có thể chuyển giao sang robot thật. Cả hai đều tối ưu chính sách bằng PPO trên các lượt triển khai tưởng tượng; RWM-U bổ sung thêm tối ưu ngoại tuyến có phạt theo độ bất định. SuperMimic thì khác: nó tối ưu chính sách bằng cách lấy đạo hàm của return xuyên qua mô hình động lực học đã học. RWM và RWM-U huấn luyện trước mô hình thế giới trên quỹ đạo của các chính sách khác, còn SuperMimic khớp mô hình thế giới ngay trong quá trình huấn luyện, trên dữ liệu do chính chính sách của nó thu thập.

¶2.5 · Biểu diễn chuyển động tái sử dụng

Reusable motion representations and downstream control. Reusable controllers connect motion tracking to downstream goal interfaces (Table 1). NPMP [5] and PhysicsVAE [7] learn latent motor representations from expert behavior; PULSE [8] and LATENT [10] use learned motion representations for downstream reinforcement learning. MaskedMimic [9] supports partial-body and multimodal goals through motion inpainting, while BeyondMimic [3] uses guided diffusion for goal following. SONIC [1] jointly trains goal encoders with its tracker using tracking rewards and latent-alignment losses. ControlVAE [6] optimizes downstream task policies through its learned model while freezing the skill controller. SuperMimic jointly trains goal-specific encoders and a shared decoder through the same dynamics model (Appendix B). Goal interfaces can optimize either a reference-tracking reward or their own task reward. Our preliminary study trains a velocity interface concurrently with the motion-tracking interface, once on each objective (§4.5).


Biểu diễn chuyển động tái sử dụng và điều khiển hạ nguồn. Các bộ điều khiển tái sử dụng được đóng vai trò cầu nối giữa bám chuyển động và các giao diện mục tiêu hạ nguồn (Bảng 1). NPMP [5] và PhysicsVAE [7] học biểu diễn vận động ẩn từ hành vi của chuyên gia; PULSE [8] và LATENT [10] dùng biểu diễn chuyển động đã học cho học tăng cường ở nhiệm vụ hạ nguồn. MaskedMimic [9] hỗ trợ mục tiêu cho một phần cơ thể và mục tiêu đa phương thức thông qua kỹ thuật “vẽ bù” chuyển động, còn BeyondMimic [3] dùng mô hình khuếch tán có dẫn hướng để bám theo mục tiêu. SONIC [1] huấn luyện các bộ mã hóa mục tiêu cùng lúc với bộ bám, dùng phần thưởng bám chuyển động và hàm mất mát căn chỉnh không gian ẩn. ControlVAE [6] tối ưu chính sách cho nhiệm vụ hạ nguồn qua mô hình đã học trong khi đóng băng bộ điều khiển kỹ năng. SuperMimic huấn luyện đồng thời các bộ mã hóa riêng cho từng loại mục tiêu cùng một bộ giải mã dùng chung, tất cả thông qua cùng một mô hình động lực học (Phụ lục B). Mỗi giao diện mục tiêu có thể tối ưu theo phần thưởng bám tham chiếu hoặc theo phần thưởng nhiệm vụ riêng của nó. Nghiên cứu sơ bộ của chúng tôi huấn luyện một giao diện vận tốc song song với giao diện bám chuyển động, mỗi lần theo một trong hai mục tiêu đó (§4.5).

3 · Method Phương pháp

Hình 2 · Vòng lặp huấn luyện
(1) Collect dataπθ + action noise εt → Sim → replay buffer 𝓑
→
(2) Fit world modelfω on k-step windows, loss 𝓛WM (Eq. 1)
→
(3) Improve policyBPTT through frozen fω over H steps, Ĵ(θ) (Eq. 2)
↺

Figure 2: SuperMimic training loop. (1) The current policy πθ collects transitions in simulation into a fixed-size replay buffer 𝓑, where new transitions replace the oldest. (2) The differentiable world model is fit to k-step windows sampled from 𝓑 (§3.2). (3) The policy is improved by backpropagation-through-time through the frozen world model over H imagined steps; a critic Vψ, trained in the same phase, bootstraps the return beyond H (§3.3). Dashed arrows are gradients. Symbols: goal gt (e.g., reference motion), action at, action noise εt, observation ot, state s and predicted state ŝ, and sim context ξ (domain-randomization parameters). 𝓛WM is the world-model loss, ô̄t the predicted noise-free observation, ηt the sensor noise, r̂t+1 the predicted reward, and Ĵ(θ) the policy objective.


Hình 2: Vòng lặp huấn luyện của SuperMimic. (1) Chính sách hiện tại πθ thu thập các chuyển trạng thái trong mô phỏng vào một bộ đệm phát lại 𝓑 có kích thước cố định; dữ liệu mới sẽ thay thế dữ liệu cũ nhất. (2) Mô hình thế giới khả vi được khớp trên các cửa sổ k bước lấy mẫu từ 𝓑 (§3.2). (3) Chính sách được cải thiện bằng lan truyền ngược theo thời gian qua mô hình thế giới đã đóng băng trên H bước tưởng tượng; một critic Vψ, huấn luyện trong cùng giai đoạn này, ước lượng phần return vượt quá H (§3.3). Mũi tên đứt nét biểu thị gradient. Ký hiệu: mục tiêu gt (ví dụ chuyển động tham chiếu), hành động at, nhiễu hành động εt, quan sát ot, trạng thái s và trạng thái dự đoán ŝ, ngữ cảnh mô phỏng ξ (các tham số ngẫu nhiên hóa miền). 𝓛WM là hàm mất mát của mô hình thế giới, ô̄t là quan sát không nhiễu được dự đoán, ηt là nhiễu cảm biến, r̂t+1 là phần thưởng dự đoán, và Ĵ(θ) là hàm mục tiêu của chính sách.

3.1 SuperMimic training loop Vòng lặp huấn luyện

¶3.1a · Tổng quan vòng lặp

SuperMimic trains one goal-conditioned whole-body controller across a multi-skill motion library and supports multiple goal interfaces. It captures the shared humanoid dynamics in a differentiable world model and improves the policy through short imagined rollouts. Training alternates between three phases in one loop (Figure 2). First, the current policy collects simulator transitions into a replay buffer. Second, we fit the differentiable world model to short replay windows. Third, the policy is improved by backpropagating an imagined return through the frozen world model, with each rollout seeded from a replay-buffer state in the Dyna style [24, 25]. The buffer, model, and policy are updated throughout training, so dynamics learning and control improve together rather than in separate stages (Algorithm A.1, Appendix D). Transitions from earlier policies remain valid for fitting the world model, because the dynamics do not depend on the policy that collected them.


SuperMimic huấn luyện một bộ điều khiển toàn thân có điều kiện theo mục tiêu trên cả một thư viện chuyển động đa kỹ năng, đồng thời hỗ trợ nhiều giao diện mục tiêu. Phương pháp nắm bắt động lực học chung của robot hình người trong một mô hình thế giới khả vi và cải thiện chính sách qua các lượt triển khai tưởng tượng ngắn. Quá trình huấn luyện luân phiên giữa ba pha trong cùng một vòng lặp (Hình 2). Thứ nhất, chính sách hiện tại thu thập các chuyển trạng thái từ trình mô phỏng vào bộ đệm phát lại. Thứ hai, mô hình thế giới khả vi được khớp trên những cửa sổ ngắn lấy từ bộ đệm. Thứ ba, chính sách được cải thiện bằng cách lan truyền ngược một return tưởng tượng qua mô hình thế giới đã đóng băng; mỗi lượt triển khai bắt đầu từ một trạng thái trong bộ đệm, theo kiểu Dyna [24, 25]. Bộ đệm, mô hình và chính sách được cập nhật xuyên suốt quá trình huấn luyện, nhờ vậy việc học động lực học và việc học điều khiển cùng tiến bộ, thay vì diễn ra thành từng giai đoạn tách biệt (Thuật toán A.1, Phụ lục D). Các chuyển trạng thái do những chính sách cũ thu thập vẫn hợp lệ để khớp mô hình thế giới, bởi động lực học không phụ thuộc vào chính sách đã tạo ra dữ liệu.

¶3.1b · Hình thức hóa POMDP

We denote the goal-conditioned partially observable Markov decision process (POMDP) by 𝓜 and use compact notation with state st, goal gt, and action at. State st gives the proprioceptive observation ot and the termination dt, which is 1 if st is terminal. Action at in state st yields the reward rt+1 and the next state st+1. The policy is deterministic, at = πθ(ot, gt), and at parameterizes a normalized joint setpoint; for motion tracking, gt is read from a reference motion. During data collection, the simulator executes the noisy action at + εt with action noise εt ∼ ρε, and the replay buffer stores this executed noisy action. The noise widens the range of actions on which the world model is fit; it serves only the model fit and is optional.


Chúng tôi ký hiệu quá trình quyết định Markov quan sát được một phần (POMDP) có điều kiện theo mục tiêu là 𝓜, với cách viết gọn gồm trạng thái st, mục tiêu gt và hành động at. Từ trạng thái st ta có quan sát cảm thụ bản thể ot và cờ kết thúc dt, bằng 1 nếu st là trạng thái kết thúc. Thực hiện hành động at tại st sẽ cho phần thưởng rt+1 và trạng thái kế tiếp st+1. Chính sách là tất định, at = πθ(ot, gt), trong đó at tham số hóa một điểm đặt khớp đã chuẩn hóa; với bài toán bám chuyển động, gt được đọc từ chuyển động tham chiếu. Khi thu thập dữ liệu, trình mô phỏng thực thi hành động có nhiễu at + εt, với εt ∼ ρε, và bộ đệm lưu lại chính hành động có nhiễu đã được thực thi đó. Nhiễu giúp mở rộng vùng hành động mà mô hình thế giới được khớp; nó chỉ phục vụ việc khớp mô hình và không bắt buộc.

¶3.1c · Trọng số sống sót mềm & tách nhiễu quan sát

Returns use a soft survival weight, c0 = 1 and ct+1 = ct(1 − dt+1), giving J(θ) = 𝔼[Σt≥0 γt ct rt+1] with discount γ ∈ [0, 1). The simulator logs hard terminations, while the learned model predicts a termination probability d̂t ∈ [0, 1], which keeps the survival weight differentiable in imagined rollouts. Throughout, a hat marks the world-model counterpart of a simulator quantity. We also factor the observation as ot = ōt + ηt, with ōt the noise-free observation and known observation noise ηt ∼ ρη sampled outside the world model. Appendix A gives the full spaces and reward.

The default interface is full-reference motion tracking. Other goal interfaces, such as velocity, share the same learned dynamics and train jointly with motion tracking (Appendix B).


Return được tính với một trọng số sống sót mềm: c0 = 1 và ct+1 = ct(1 − dt+1), cho ta J(θ) = 𝔼[Σt≥0 γt ct rt+1] với hệ số chiết khấu γ ∈ [0, 1). Trình mô phỏng ghi nhận kết thúc “cứng” (0 hoặc 1), trong khi mô hình học được dự đoán một xác suất kết thúc d̂t ∈ [0, 1], nhờ đó trọng số sống sót vẫn khả vi trong các lượt triển khai tưởng tượng. Trong toàn bài, dấu mũ biểu thị đại lượng tương ứng trong mô hình thế giới. Chúng tôi cũng phân tách quan sát thành ot = ōt + ηt, trong đó ōt là quan sát không nhiễu và ηt ∼ ρη là nhiễu quan sát đã biết, được lấy mẫu bên ngoài mô hình thế giới. Phụ lục A mô tả đầy đủ các không gian và hàm phần thưởng.

Giao diện mặc định là bám toàn bộ chuyển động tham chiếu. Các giao diện mục tiêu khác, chẳng hạn vận tốc, dùng chung động lực học đã học và được huấn luyện cùng lúc với bám chuyển động (Phụ lục B).

3.2 Learning a differentiable world model Học mô hình thế giới khả vi

¶3.2a · Vì sao cần mô hình thay thế

The simulator’s articulated multi-rigid-body dynamics are known, but the simulator need not provide gradients, so SuperMimic learns a differentiable surrogate to obtain policy gradients: it supplies the predictions and Jacobians for the BPTT update in §3.3. The resulting analytic policy gradient is the gradient of a surrogate for the expected return in simulation. Since the simulator’s randomness has known sources, the world model stays deterministic: it conditions on the per-episode sim context ξ (friction, calibration offsets, and torso center-of-mass) and predicts the noise-free observation ōt.


Động lực học hệ nhiều vật rắn có khớp nối của trình mô phỏng là đã biết, nhưng trình mô phỏng không nhất thiết cung cấp gradient. Vì vậy, SuperMimic học một mô hình thay thế khả vi để thu được gradient chính sách: mô hình này cung cấp các dự đoán và ma trận Jacobian cho bước cập nhật BPTT ở §3.3. Gradient chính sách giải tích thu được, nói chính xác, là gradient của một đại lượng thay thế cho return kỳ vọng trong mô phỏng. Vì các nguồn ngẫu nhiên của trình mô phỏng đều đã biết, mô hình thế giới được giữ ở dạng tất định: nó được điều kiện hóa trên ngữ cảnh mô phỏng ξ của từng episode (hệ số ma sát, độ lệch hiệu chuẩn và khối tâm thân trên) và dự đoán quan sát không nhiễu ōt.

¶3.2b · Cấu trúc mô hình & hàm mất mát (Eq. 1)

The world model contains a learned dynamics model and reward, observation, and termination heads; each head is either learned or computed analytically,

ŝt+1 = fω(ŝt, at, ξ),   r̂t+1 = rω(ŝt, at, gt),   ô̄t = gω(ŝt, ξ),   d̂t = dω(ŝt, gt).

We fit the network weights ω on k-step autoregressive replay windows (k = 8), seeded at the logged state ŝ0 = s0 and rolled forward on logged actions, by minimizing

𝓛WM(ω) = 𝔼𝓑 Σj=1k [ ‖ŝj − sj‖² + (r̂j − rj)² + ‖ô̄j − ōj‖² + BCE(d̂j, dj) ] (1)

where an analytic head has no loss term. Here rj is the simulator reward, dj ∈ {0, 1} is the simulator termination label, and BCE is the binary cross-entropy.


Mô hình thế giới gồm một mô hình động lực học được học cùng các đầu ra (head) cho phần thưởng, quan sát và tín hiệu kết thúc; mỗi đầu ra hoặc được học, hoặc được tính giải tích. Chúng tôi khớp trọng số mạng ω trên các cửa sổ phát lại tự hồi quy dài k bước (k = 8): mỗi cửa sổ khởi đầu tại trạng thái đã ghi ŝ0 = s0, rồi được triển khai tiếp theo chuỗi hành động đã ghi, và ω được tối ưu bằng cách cực tiểu hóa hàm mất mát (1). Đầu ra nào được tính giải tích thì không có số hạng mất mát tương ứng. Ở đây rj là phần thưởng từ trình mô phỏng, dj ∈ {0, 1} là nhãn kết thúc từ trình mô phỏng, và BCE là entropy chéo nhị phân.

3.3 Learning the policy through the world model Học chính sách qua mô hình thế giới

¶3.3a · Tầm tưởng tượng H

During each policy update, we hold the world-model weights ω fixed and optimize πθ and Vψ on imagined rollouts of H = 32 steps. The critic Vψ estimates the return beyond step H, so the model must be accurate only within these H steps. This imagination horizon exceeds the k-step replay windows on which we fit the model (§3.2). In practice, the learned model remains stable over indefinitely long rollouts, because the k-step autoregressive fit trains it to correct its own prediction errors.


Trong mỗi lần cập nhật chính sách, chúng tôi giữ cố định trọng số ω của mô hình thế giới và tối ưu πθ cùng Vψ trên các lượt triển khai tưởng tượng dài H = 32 bước. Critic Vψ ước lượng phần return sau bước H, nên mô hình chỉ cần chính xác trong phạm vi H bước này. Tầm tưởng tượng này dài hơn cửa sổ k bước dùng để khớp mô hình (§3.2). Trên thực tế, mô hình học được vẫn ổn định trong những lượt triển khai dài tùy ý, bởi cách khớp tự hồi quy k bước đã dạy nó tự điều chỉnh sai số dự đoán của chính mình.

¶3.3b · Mục tiêu chính sách (Eq. 2)

Each imagined rollout starts from a replay-buffer state s0 ∼ ρ0 with its recorded sim context ξ. At step t, the model emits ô̄t, we re-add sensor noise, and the policy acts: at = πθ(ô̄t + ηt, gt), ηt ∼ ρη. The policy objective over imagined rollouts is

Ĵ(θ) = 𝔼s0∼ρ0, πθ [ Σt=0H−1 γt ĉt r̂t+1 + γH ĉH Vψ(ŝH, gH, ξ) ] (2)

For motion tracking, the reward rt+1 is the BeyondMimic motion-tracking reward [3] without its self-collision penalty (Appendix A).


Mỗi lượt triển khai tưởng tượng bắt đầu từ một trạng thái s0 ∼ ρ0 trong bộ đệm phát lại, kèm theo ngữ cảnh mô phỏng ξ đã ghi. Tại bước t, mô hình xuất ra ô̄t, chúng tôi cộng thêm nhiễu cảm biến, rồi chính sách ra quyết định: at = πθ(ô̄t + ηt, gt), với ηt ∼ ρη. Hàm mục tiêu của chính sách trên các lượt tưởng tượng được cho bởi (2): tổng phần thưởng có chiết khấu trong H bước, cộng với giá trị do critic ước lượng tại bước cuối. Với bài toán bám chuyển động, phần thưởng rt+1 là phần thưởng bám chuyển động của BeyondMimic [3], đã bỏ số hạng phạt tự va chạm (Phụ lục A).

¶3.3c · BPTT so với PPO

The world model is differentiable, so BPTT computes a first-order gradient ∇θĴ through the H imagined steps via the world model’s Jacobians with respect to ŝt and at. In contrast, PPO treats the dynamics as a black box: it weights the score ∇θ log πθ of a stochastic policy by the advantages of sampled actions, a likelihood-ratio estimate. BPTT instead differentiates the return with respect to each action, so over short horizons its gradient has much lower variance.


Vì mô hình thế giới khả vi, BPTT tính được gradient bậc nhất ∇θĴ xuyên qua H bước tưởng tượng, nhờ các ma trận Jacobian của mô hình theo ŝt và at. Ngược lại, PPO coi động lực học như một hộp đen: nó nhân hàm điểm ∇θ log πθ của một chính sách ngẫu nhiên với lợi thế (advantage) của các hành động được lấy mẫu, tức là một ước lượng dựa trên tỷ số hợp lý. BPTT thì lấy đạo hàm của return theo từng hành động, nên trên tầm ngắn, gradient của nó có phương sai thấp hơn nhiều.

¶3.3d · Huấn luyện critic (Eq. 3)

The critic Vψ is fit to generalized advantage estimation returns [26] computed backward in time over the imagined transitions only,

𝓛V(ψ) = 𝔼 Σt=0H−1 (Vt − R̂t)²,   R̂t = r̂t+1 + γ(1 − d̂t+1)[(1 − λ)Vt+1 + λR̂t+1] (3)

with Vt = Vψ(ŝt, gt, ξ). The recursion starts from R̂H = VH, the critic’s estimate of the return beyond the horizon. The targets R̂t are computed once per rollout and remain fixed while ψ is fit.


Critic Vψ được khớp theo các return của ước lượng lợi thế tổng quát (GAE) [26], tính ngược theo thời gian và chỉ trên các chuyển trạng thái tưởng tượng (công thức 3), với Vt = Vψ(ŝt, gt, ξ). Phép đệ quy bắt đầu từ R̂H = VH, tức ước lượng của critic cho phần return nằm ngoài tầm tưởng tượng. Các mục tiêu R̂t được tính một lần cho mỗi lượt triển khai và giữ cố định trong lúc khớp ψ.

¶3.3e · Định vị so với SHAC và các phương pháp không critic

The policy and critic updates together form a short-horizon actor–critic in the spirit of SHAC [19], which backpropagates through a differentiable simulator. SuperMimic replaces SHAC’s hard episode termination with the survival weight ĉt, and its critic has no exponential-moving-average target network. Prior motion-tracking controllers trained with analytic gradients often omit a critic and optimize only the H-step reward sum [12, 6]. Without a critic, training can reach a similar nominal tracking return, but this unbootstrapped objective is more myopic. The critic matters after perturbations, where recovery or balance rewards can lie beyond the imagination window (§4.3).


Các bước cập nhật chính sách và critic kết hợp lại thành một thuật toán actor–critic tầm ngắn theo tinh thần của SHAC [19], vốn lan truyền ngược qua một trình mô phỏng khả vi. SuperMimic thay cơ chế kết thúc episode “cứng” của SHAC bằng trọng số sống sót ĉt, và critic của nó không dùng mạng mục tiêu trung bình trượt hàm mũ. Các bộ điều khiển bám chuyển động trước đây được huấn luyện bằng gradient giải tích thường bỏ critic và chỉ tối ưu tổng phần thưởng trong H bước [12, 6]. Không có critic, quá trình huấn luyện vẫn có thể đạt mức return bám chuyển động danh định tương đương, nhưng mục tiêu không có điểm tựa này “thiển cận” hơn. Critic thực sự phát huy tác dụng sau khi robot bị nhiễu loạn, khi phần thưởng cho việc phục hồi hay giữ thăng bằng có thể nằm ngoài cửa sổ tưởng tượng (§4.3).

4 · Experimental Results Kết quả thực nghiệm

¶4.0 · Lộ trình & giao thức đánh giá

We show that SuperMimic scales favorably relative to PPO pipelines, identify the world-model properties behind this scaling, demonstrate transfer on a real Unitree G1, and report a preliminary study of downstream goal interfaces. The simulator is MuJoCo Warp, a GPU implementation of MuJoCo [27]. All our reported costs are measured on NVIDIA H100 (80 GB SXM5) GPUs of Lambda on-demand instances. We ran several random seeds and found training very stable, which we attribute to the dense reward that motion tracking gives at every step. The figures therefore do not report seed variation. Normalized return, return for short, is the undiscounted sum of the per-step reward over the full episode, divided by the largest value this sum can take. A policy that terminates early therefore scores low.


Chúng tôi cho thấy SuperMimic mở rộng quy mô tốt hơn các quy trình PPO, xác định những đặc tính của mô hình thế giới đứng sau khả năng mở rộng đó, trình diễn việc chuyển giao sang robot Unitree G1 thật, và báo cáo một nghiên cứu sơ bộ về các giao diện mục tiêu hạ nguồn. Trình mô phỏng được dùng là MuJoCo Warp, phiên bản chạy trên GPU của MuJoCo [27]. Mọi chi phí báo cáo đều được đo trên GPU NVIDIA H100 (80 GB SXM5) thuê theo nhu cầu từ Lambda. Chúng tôi đã chạy với nhiều seed ngẫu nhiên và thấy quá trình huấn luyện rất ổn định, điều mà chúng tôi cho là nhờ bài toán bám chuyển động cung cấp phần thưởng dày đặc ở mọi bước. Vì vậy, các hình không báo cáo độ biến thiên giữa các seed. “Return chuẩn hóa” (gọi tắt là return) là tổng phần thưởng không chiết khấu trên toàn episode, chia cho giá trị lớn nhất mà tổng này có thể đạt được. Do đó, chính sách nào kết thúc sớm sẽ có điểm thấp.

4.1 SuperMimic reaches SONIC-level tracking with far fewer GPU-hours Đạt mức SONIC với ít giờ-GPU hơn nhiều

¶4.1a · So sánh chính với SONIC

We compare against SONIC, a published PPO pipeline trained on a 128-GPU cluster. Both methods build on the BeyondMimic motion-tracking formulation [3], making SONIC the closest available published comparison. Within 3 h on one GPU, SuperMimic surpasses the normalized return of the released SONIC checkpoint (Figure 3(a)). On a shared benchmark of 129,514 motions, it also fails on fewer motions than SONIC: 25 after 3 h on one GPU and 0 after 9.8 h on two GPUs, against 179 for SONIC’s released checkpoint (Appendix F). We state the 3 h conservatively: from then on, every checkpoint is ahead of SONIC by at least half of the gap between SONIC and SuperMimic’s best result, in both return and failed motions. SuperMimic thus uses more than 50× less wall-clock time and more than 1000× fewer GPU-hours than SONIC.


Chúng tôi so sánh với SONIC, một quy trình PPO đã công bố, được huấn luyện trên cụm 128 GPU. Cả hai phương pháp đều xây dựng trên cách phát biểu bài toán bám chuyển động của BeyondMimic [3], nên SONIC là đối chứng đã công bố gần gũi nhất hiện có. Chỉ trong 3 giờ trên một GPU, SuperMimic vượt return chuẩn hóa của checkpoint SONIC đã công bố (Hình 3a). Trên bộ đánh giá chung gồm 129.514 chuyển động, nó cũng thất bại ít hơn SONIC: 25 chuyển động sau 3 giờ trên một GPU và 0 sau 9,8 giờ trên hai GPU, so với 179 của checkpoint SONIC (Phụ lục F). Mốc 3 giờ được chúng tôi nêu một cách thận trọng: từ thời điểm đó trở đi, mọi checkpoint đều vượt SONIC ít nhất một nửa khoảng cách giữa SONIC và kết quả tốt nhất của SuperMimic, xét cả về return lẫn số chuyển động thất bại. Như vậy, SuperMimic dùng ít thời gian thực hơn 50 lần và ít giờ-GPU hơn 1000 lần so với SONIC.

¶4.1b · Hạch toán tính toán

Compute accounting. The ratios compare SONIC’s reported 128 NVIDIA L40 GPUs for 7 days (about 21,000 GPU-hours) with 3 h on one NVIDIA H100, within which SuperMimic surpasses the return of SONIC’s released checkpoint. They are about 56× (>50×) in wall-clock time and about 7200× (>1000×) in GPU-hours. The 3 h cover the full training loop; checkpoint evaluations run after training and are not counted. SuperMimic trains on 264.56 h of motion from BONES-SEED [28], the public subset of SONIC’s data, about 2.3× less than SONIC’s 611 h. The GPU models also differ: in peak throughput, an H100 delivers 0.74× the fp32 and 5.5× the tensor-core performance of an L40; how much of that peak either run used is unknown. Nonetheless, 2.3× in data and at most 5.5× in peak GPU throughput cannot account for a 1000× gap in GPU-hours.


Hạch toán tính toán. Các tỷ lệ trên so sánh mức SONIC báo cáo, 128 GPU NVIDIA L40 chạy trong 7 ngày (khoảng 21.000 giờ-GPU), với 3 giờ trên một GPU NVIDIA H100, khoảng thời gian mà SuperMimic đã vượt return của checkpoint SONIC. Về thời gian thực, tỷ lệ là khoảng 56 lần (>50×); về giờ-GPU, khoảng 7200 lần (>1000×). 3 giờ này bao gồm toàn bộ vòng lặp huấn luyện; việc đánh giá checkpoint diễn ra sau huấn luyện và không được tính vào. SuperMimic huấn luyện trên 264,56 giờ chuyển động từ BONES-SEED [28], phần công khai trong dữ liệu của SONIC, tức ít hơn khoảng 2,3 lần so với 611 giờ của SONIC. Loại GPU cũng khác nhau: xét hiệu năng đỉnh, H100 đạt 0,74 lần hiệu năng fp32 và 5,5 lần hiệu năng tensor-core so với L40; mức khai thác thực tế của mỗi bên so với hiệu năng đỉnh thì không rõ. Dù vậy, chênh lệch 2,3 lần về dữ liệu và tối đa 5,5 lần về thông lượng GPU đỉnh không thể giải thích được khoảng cách 1000 lần về giờ-GPU.

¶4.1c · So sánh có kiểm soát (PPO-Sim, LAFAN1)

Figure 4(a) gives a controlled comparison on LAFAN1 [29]. The baseline, PPO-Sim, is PPO trained in the simulator. PPO-Sim shares SuperMimic’s motions, observations, reward, termination, domain randomization, actor and critic network sizes, and evaluation protocol. It uses BeyondMimic’s PPO hyperparameters [3] and 8192 parallel environments per GPU, twice SuperMimic’s. PPO-Sim estimates its policy gradient from sampled simulator rollouts; SuperMimic backpropagates its imagined return through world-model rollouts. SuperMimic reaches a return of 0.82 in evaluation within 1.2 h on one GPU. Within the 18 h budget, PPO-Sim does not reach it. Its final return is 0.60 on one GPU, 0.70 on four, and 0.72 on eight, so going from four to eight GPUs barely helps.


Hình 4a đưa ra một so sánh có kiểm soát trên LAFAN1 [29]. Phương pháp đối chứng, PPO-Sim, là PPO huấn luyện trực tiếp trong trình mô phỏng. PPO-Sim dùng chung với SuperMimic các chuyển động, quan sát, phần thưởng, điều kiện kết thúc, ngẫu nhiên hóa miền, kích thước mạng actor và critic, cũng như giao thức đánh giá. Nó dùng bộ siêu tham số PPO của BeyondMimic [3] và 8192 môi trường song song trên mỗi GPU, gấp đôi SuperMimic. PPO-Sim ước lượng gradient chính sách từ các lượt mô phỏng được lấy mẫu, còn SuperMimic lan truyền ngược return tưởng tượng qua các lượt triển khai trong mô hình thế giới. SuperMimic đạt return 0,82 khi đánh giá chỉ sau 1,2 giờ trên một GPU. Trong ngân sách 18 giờ, PPO-Sim không đạt được mức này: return cuối cùng là 0,60 với một GPU, 0,70 với bốn GPU và 0,72 với tám GPU. Nói cách khác, tăng từ bốn lên tám GPU hầu như không giúp ích gì.

¶4.1d · Xu hướng mở rộng theo dữ liệu

Figure 3(b, c) shows that, for SuperMimic, GPU-hours to the target return grow slowly as dataset length increases, while on the same sweep the world model’s prediction error stays stable; §4.2 traces both trends to one world model amortizing the dynamics shared across motions.


Hình 3b và 3c cho thấy, với SuperMimic, số giờ-GPU cần để đạt return mục tiêu chỉ tăng chậm khi độ dài dữ liệu tăng, đồng thời trên cùng dải thí nghiệm, sai số dự đoán của mô hình thế giới vẫn ổn định. Mục 4.2 sẽ quy cả hai xu hướng này về một nguyên nhân chung: một mô hình thế giới duy nhất khấu hao phần động lực học mà mọi chuyển động cùng chia sẻ.

Hình 3 · chú thích

Figure 3: SuperMimic surpasses SONIC’s tracking return with far fewer GPU-hours. (a) SuperMimic on one and two H100 GPUs surpasses the return of the released SONIC checkpoint (dashed), all three scored on the same benchmark of 129,514 motions (264 h). Two budget rows compare SuperMimic (dot) with SONIC (diamond): SuperMimic reduces wall-clock time by more than 50× and GPU-hours by more than 1000×. (b, c) On a shared dataset-length sweep, GPU-hours to target return (b) grow slowly while the world model’s 8-step prediction error (c) stays within 0.007–0.011 as the dataset grows from 1 to 264 h, consistent with one world model amortizing shared body and contact dynamics across motions. The prediction error counts the state only, is normalized by a predefined nominal error, and is measured online on policy rollouts.


Hình 3: SuperMimic vượt return bám chuyển động của SONIC với số giờ-GPU ít hơn rất nhiều. (a) SuperMimic trên một và hai GPU H100 đều vượt return của checkpoint SONIC đã công bố (đường đứt nét); cả ba được chấm điểm trên cùng bộ đánh giá gồm 129.514 chuyển động (264 giờ). Hai hàng ngân sách so sánh SuperMimic (chấm tròn) với SONIC (hình thoi): SuperMimic giảm thời gian thực hơn 50 lần và giảm giờ-GPU hơn 1000 lần. (b, c) Trên cùng một dải thí nghiệm theo độ dài dữ liệu, số giờ-GPU để đạt return mục tiêu (b) tăng chậm, trong khi sai số dự đoán 8 bước của mô hình thế giới (c) chỉ dao động trong khoảng 0,007–0,011 khi dữ liệu tăng từ 1 lên 264 giờ. Điều này phù hợp với giả thuyết rằng một mô hình thế giới duy nhất đang khấu hao phần động lực học cơ thể và tiếp xúc mà mọi chuyển động cùng chia sẻ. Sai số dự đoán chỉ tính trên trạng thái, được chuẩn hóa theo một mức sai số danh định định sẵn, và đo trực tuyến trên các lượt triển khai của chính sách.

Hình 4 · chú thích

Figure 4: In controlled comparisons, SuperMimic reaches a higher return sooner than PPO-Sim, and the critic enables shorter imagination horizons. All runs use LAFAN1 (40 clips, 2.45 h). (a) SuperMimic backpropagates its imagined return through its world model on one GPU; PPO-Sim runs PPO in the simulator on 1, 4, or 8 GPUs (§4.1). Each point on a curve is a saved checkpoint scored on all 40 clips. (b, c) Final training return (b) and wall-clock hours until the training return reaches 0.82 (c) for each imagination horizon H, with and without the critic. The dashed line in (a) and (b) marks this target return of 0.82. Training return is the return of training episodes. Their initial states follow return-based reset sampling (Appendix D.1) and shift during training, so training return differs from the checkpoint scores in (a). In (c), a cross marks a horizon at which return 0.82 is not reached: both variants at H = 8, no critic at H = 16. The shaded band marks the default H = 32.


Hình 4: Trong các so sánh có kiểm soát, SuperMimic đạt return cao hơn và nhanh hơn PPO-Sim, và critic cho phép rút ngắn tầm tưởng tượng. Mọi lượt chạy đều dùng LAFAN1 (40 clip, 2,45 giờ). (a) SuperMimic lan truyền ngược return tưởng tượng qua mô hình thế giới trên một GPU; PPO-Sim chạy PPO trong trình mô phỏng với 1, 4 hoặc 8 GPU (§4.1). Mỗi điểm trên đường cong là một checkpoint đã lưu, được chấm trên cả 40 clip. (b, c) Return huấn luyện cuối cùng (b) và số giờ thực cần để return huấn luyện đạt 0,82 (c), theo từng tầm tưởng tượng H, có và không có critic. Đường đứt nét ở (a) và (b) đánh dấu mức return mục tiêu 0,82. Return huấn luyện là return của các episode huấn luyện; trạng thái ban đầu của chúng được lấy mẫu theo return (Phụ lục D.1) và thay đổi trong quá trình huấn luyện, nên return huấn luyện khác với điểm checkpoint ở (a). Trong (c), dấu chéo đánh dấu những tầm H không đạt được 0,82: cả hai biến thể ở H = 8, và biến thể không critic ở H = 16. Dải tô bóng đánh dấu giá trị mặc định H = 32.

4.2 Properties of the learned world model Đặc tính của mô hình thế giới

¶4.2a · Một mô hình khấu hao cả thư viện

These results rest on three properties of the learned world model fω: its accuracy holds as the motion library grows, and its rollouts are fast and differentiable.

One model amortizes the motion library. In Figure 3(c), the world model’s 8-step prediction error stays between 0.007 and 0.011 as the dataset grows from 1 to 264 h. Every motion is executed by the same humanoid, so added clips supply more evidence about the shared body and contact dynamics rather than demanding new capacity. This is consistent with the slow growth of the compute needed to reach the target return (§4.1).


Các kết quả trên dựa vào ba đặc tính của mô hình thế giới đã học fω: độ chính xác của nó được duy trì khi thư viện chuyển động mở rộng, và các lượt triển khai của nó vừa nhanh vừa khả vi.

Một mô hình khấu hao cả thư viện chuyển động. Ở Hình 3c, sai số dự đoán 8 bước của mô hình thế giới chỉ dao động trong khoảng 0,007 đến 0,011 khi dữ liệu tăng từ 1 lên 264 giờ. Mọi chuyển động đều do cùng một robot hình người thực hiện, nên mỗi đoạn chuyển động mới bổ sung thêm bằng chứng về động lực học cơ thể và tiếp xúc dùng chung, thay vì đòi hỏi thêm dung lượng mô hình. Điều này phù hợp với việc lượng tính toán cần để đạt return mục tiêu chỉ tăng chậm (§4.1).

¶4.2b · Tưởng tượng tăng tốc triển khai

Imagination accelerates rollouts. During policy optimization, rollout speed sets the update cost. Figure 5(a) shows that the world model runs more than 10× faster than MuJoCo Warp at the batch sizes used in practice, and up to 62× at 64k parallel environments.


Tưởng tượng giúp tăng tốc triển khai. Trong quá trình tối ưu chính sách, tốc độ triển khai quyết định chi phí của mỗi lần cập nhật. Hình 5a cho thấy mô hình thế giới chạy nhanh hơn MuJoCo Warp trên 10 lần ở các kích thước lô dùng trong thực tế, và nhanh hơn tới 62 lần khi có 64 nghìn môi trường song song.

¶4.2c · Gradient bậc nhất cần ít bước hơn

First-order gradients need fewer imagined steps. As a mechanism ablation, Figure 5(b) isolates the benefit of first-order policy updates: SuperMimic reaches the best PPO-WM return with about 64× fewer imagined steps, so the gain is not just rollout speed.


Gradient bậc nhất cần ít bước tưởng tượng hơn. Như một ablation về cơ chế, Hình 5b tách riêng lợi ích của cập nhật chính sách bậc nhất: SuperMimic đạt mức return tốt nhất của PPO-WM với số bước tưởng tượng ít hơn khoảng 64 lần. Vì vậy, lợi thế không chỉ đến từ tốc độ triển khai.

Hình 5 · chú thích

Figure 5: Imagined rollouts are fast and differentiable. (a) On an H100, over the batch sizes used in practice (shaded, 2k–16k parallel environments), the world model runs more than 10× faster than MuJoCo Warp; the gap widens to 62× at 64k, where MuJoCo Warp has flattened. One step is one 50 Hz control step, which MuJoCo Warp computes as four 5 ms substeps; the world model runs at the TF32 precision used in SuperMimic’s training. (b) On walk/run/sprint motions from LAFAN1 [29], SuperMimic, trained with its actor–critic update, reaches the best training return of PPO trained on world-model rollouts (PPO-WM) with about 64× fewer imagined steps. PPO-WM runs at four batch sizes (parallel rollouts × steps per rollout); 16k×32 is the best. Each curve is a centered moving average over ±0.05 decade of imagined steps.


Hình 5: Các lượt triển khai tưởng tượng vừa nhanh vừa khả vi. (a) Trên một GPU H100, ở dải kích thước lô dùng trong thực tế (vùng tô bóng, 2 nghìn đến 16 nghìn môi trường song song), mô hình thế giới chạy nhanh hơn MuJoCo Warp trên 10 lần; khoảng cách nới rộng tới 62 lần ở 64 nghìn môi trường, khi MuJoCo Warp đã chững lại. Một bước tương ứng với một bước điều khiển 50 Hz, mà MuJoCo Warp tính bằng bốn bước con 5 ms; mô hình thế giới chạy ở độ chính xác TF32 như khi huấn luyện SuperMimic. (b) Trên các chuyển động đi, chạy và chạy nước rút của LAFAN1 [29], SuperMimic với cập nhật actor–critic của mình đạt mức return huấn luyện tốt nhất của PPO huấn luyện trên các lượt triển khai của mô hình thế giới (PPO-WM) với số bước tưởng tượng ít hơn khoảng 64 lần. PPO-WM được chạy với bốn kích thước lô (số lượt song song × số bước mỗi lượt), trong đó 16k×32 là tốt nhất. Mỗi đường cong là trung bình trượt có tâm trên khoảng ±0,05 bậc thập phân số bước tưởng tượng.

4.3 A critic enables shorter horizons and push recovery Critic giúp rút ngắn tầm và phục hồi khi bị đẩy

¶4.3 · Ablation critic

Figure 4(b, c) sweeps H with and without the critic. Without the critic, training fails at H ≤ 16. With it, H = 16 matches the critic-free H = 32, and H = 32 reaches a return of 0.82 fastest. Raising H from 64 to 128 nearly triples the time to that return and lowers the final return; H = 128 is the longest horizon that fits on an H100. At matched return, the critic still changes behavior. Under 0.5–4 m/s velocity pushes while holding a static T-pose in simulation, the critic policy settles within 0.5–2.4 s. The critic-free policy never settles: it keeps stumbling even at 0.5 m/s and falls at 4 m/s.


Hình 4b và 4c quét giá trị H trong hai trường hợp có và không có critic. Không có critic, huấn luyện thất bại khi H ≤ 16. Có critic, H = 16 đã đạt mức tương đương H = 32 của biến thể không critic, và H = 32 là cấu hình đạt return 0,82 nhanh nhất. Tăng H từ 64 lên 128 làm thời gian đạt mức return đó tăng gần gấp ba và làm giảm return cuối cùng; H = 128 cũng là tầm dài nhất còn vừa bộ nhớ một GPU H100. Ngay cả khi return như nhau, critic vẫn làm thay đổi hành vi. Khi robot giữ tư thế chữ T tĩnh trong mô phỏng và bị đẩy với vận tốc 0,5–4 m/s, chính sách có critic ổn định trở lại trong vòng 0,5–2,4 giây. Chính sách không có critic thì không bao giờ ổn định: nó liên tục loạng choạng ngay cả ở 0,5 m/s và ngã ở 4 m/s.

4.4 Real-robot transfer Chuyển giao sang robot thật

¶4.4 · Unitree G1 & Hình 6

One general motion tracker deploys on a real Unitree G1 without per-motion tuning (Figure 6). The four motions cover locomotion (a skipping jump), contact-rich whole-body motion with the torso and limbs on the floor (a side roll), and acrobatics (a 90° flip and an in-place 360° flip).

Figure 6: One general motion tracker, trained through the learned world model, transfers to a real Unitree G1. (a) Skipping jump, (b) side roll, (c) 90° flip, and (d) in-place 360° flip.


Một bộ bám chuyển động tổng quát duy nhất được triển khai trên robot Unitree G1 thật mà không cần tinh chỉnh riêng cho từng chuyển động (Hình 6). Bốn chuyển động được chọn bao gồm di chuyển (nhảy chân sáo), chuyển động toàn thân giàu tiếp xúc khi thân và tay chân chạm sàn (lăn ngang), và nhào lộn (lộn 90° và lộn 360° tại chỗ).

Hình 6: Một bộ bám chuyển động tổng quát, huấn luyện qua mô hình thế giới đã học, chuyển giao sang robot Unitree G1 thật. (a) Nhảy chân sáo, (b) lăn ngang, (c) lộn 90°, (d) lộn 360° tại chỗ.

4.5 Downstream tasks: RL encoder vs. distillation baseline Nhiệm vụ hạ nguồn: RL so với chưng cất

¶4.5 · Bộ mã hóa vận tốc

SuperMimic trains downstream goal encoders jointly with the motion-tracking interface, sharing one decoder and world model (Appendix B). Our study of downstream interfaces is preliminary. We train one velocity encoder on a velocity-tracking reward through the world model. We compare it with a distillation baseline: a velocity encoder trained on the motion-tracking reward, with commands read from the reference motions. Figure 7 evaluates both on 672 step responses spanning the velocity space (Appendix G). The RL encoder has the lower steady-state error on 650 of them, and the distillation encoder on 15. Only the distillation encoder falls, on seven fast turns with almost no motion-library data.


SuperMimic huấn luyện các bộ mã hóa mục tiêu hạ nguồn cùng lúc với giao diện bám chuyển động, dùng chung một bộ giải mã và một mô hình thế giới (Phụ lục B). Nghiên cứu của chúng tôi về các giao diện hạ nguồn mới chỉ ở mức sơ bộ. Chúng tôi huấn luyện một bộ mã hóa vận tốc bằng phần thưởng bám vận tốc, thông qua mô hình thế giới, rồi so sánh nó với một phương án chưng cất: bộ mã hóa vận tốc được huấn luyện bằng phần thưởng bám chuyển động, với lệnh vận tốc được đọc từ chuyển động tham chiếu. Hình 7 đánh giá cả hai trên 672 phản hồi bước (step response) trải khắp không gian vận tốc (Phụ lục G). Bộ mã hóa RL có sai số xác lập thấp hơn ở 650 trường hợp, còn bộ mã hóa chưng cất thấp hơn ở 15 trường hợp. Chỉ có bộ mã hóa chưng cất bị ngã, ở bảy lệnh quay nhanh mà thư viện chuyển động hầu như không có dữ liệu.

Hình 7 · chú thích

Figure 7: The policy with the RL-trained velocity encoder tracks step commands more accurately than the distillation baseline. Each panel is a plane of the command space with the third component at zero, and each ring is one command. The outer disc’s area is proportional to the larger of the two policies’ relative steady-state errors in the step response to that command, and the hole’s area to the smaller one; the color marks the better policy. Details in Appendix G.


Hình 7: Chính sách dùng bộ mã hóa vận tốc huấn luyện bằng RL bám lệnh bước chính xác hơn phương án chưng cất. Mỗi ô là một mặt phẳng của không gian lệnh, với thành phần thứ ba bằng không; mỗi vòng tròn ứng với một lệnh. Diện tích đĩa ngoài tỷ lệ với sai số xác lập tương đối lớn hơn giữa hai chính sách trong phản hồi bước với lệnh đó, còn diện tích lỗ ở giữa tỷ lệ với sai số nhỏ hơn; màu sắc cho biết chính sách nào tốt hơn. Chi tiết xem Phụ lục G.

5 · Conclusion Kết luận

¶5 · Kết luận

SuperMimic removes compute as the bottleneck to scaling humanoid whole-body control. A single learned, differentiable world model captures the dynamics every motion shares, and backpropagation-through-time through it amortizes a whole dataset into one policy. The policy trains on a single GPU, surpasses the return of a policy trained on a 128-GPU cluster, and transfers to a real Unitree G1. Its training cost grows slowly over a controlled dataset-length sweep. The same model can train a downstream velocity interface directly on the interface’s own task reward. Measuring the scaling laws of motion tracking is now affordable, at one GPU per run.


SuperMimic loại bỏ tính toán khỏi vai trò nút thắt trong việc mở rộng điều khiển toàn thân robot hình người. Một mô hình thế giới khả vi duy nhất nắm bắt phần động lực học mà mọi chuyển động cùng chia sẻ, và lan truyền ngược theo thời gian qua mô hình đó cho phép khấu hao cả một tập dữ liệu vào một chính sách duy nhất. Chính sách được huấn luyện trên một GPU, vượt return của một chính sách huấn luyện trên cụm 128 GPU, và chuyển giao được sang robot Unitree G1 thật. Chi phí huấn luyện của nó tăng chậm trong một dải thí nghiệm có kiểm soát theo độ dài dữ liệu. Cũng mô hình đó có thể huấn luyện một giao diện vận tốc hạ nguồn trực tiếp bằng phần thưởng nhiệm vụ riêng của giao diện. Việc đo đạc các quy luật mở rộng của bài toán bám chuyển động giờ đây đã nằm trong tầm với: mỗi lượt thí nghiệm chỉ cần một GPU.

6 · Limitations and Future Work Hạn chế và hướng phát triển

¶6 · Ba hạn chế
  • Multi-interface training is understudied. We train the velocity encoder concurrently with the motion tracker, but the velocity-tracking reward updates only the velocity encoder and not the shared decoder (Appendix B). Concurrent training is therefore the same as training the velocity encoder after the motion tracker, and might not be necessary. Whether concurrent training helps once the velocity-tracking reward also updates the decoder is untested.
  • Simulator-only dynamics. The world model learns only from simulator transitions. Real-robot data could refine it, and its differentiability could support system identification.
  • No terrain or object interaction. SuperMimic trains only on flat ground. Extending it to terrain and object interaction is ongoing work.

  • Huấn luyện đa giao diện còn ít được nghiên cứu. Chúng tôi huấn luyện bộ mã hóa vận tốc song song với bộ bám chuyển động, nhưng phần thưởng bám vận tốc chỉ cập nhật bộ mã hóa vận tốc chứ không cập nhật bộ giải mã dùng chung (Phụ lục B). Vì vậy, huấn luyện song song ở đây thực chất tương đương với huấn luyện bộ mã hóa vận tốc sau bộ bám chuyển động, và có thể không cần thiết. Liệu huấn luyện song song có mang lại lợi ích khi phần thưởng bám vận tốc cũng cập nhật bộ giải mã hay không thì vẫn chưa được kiểm chứng.
  • Động lực học chỉ đến từ mô phỏng. Mô hình thế giới chỉ học từ các chuyển trạng thái trong mô phỏng. Dữ liệu từ robot thật có thể giúp tinh chỉnh nó, và tính khả vi của mô hình còn có thể hỗ trợ bài toán nhận dạng hệ thống.
  • Chưa có tương tác với địa hình hay vật thể. SuperMimic hiện chỉ huấn luyện trên mặt phẳng. Việc mở rộng sang địa hình và tương tác với vật thể đang được thực hiện.

Appendix (selected) Phụ lục chọn lọc: những đoạn có ảnh hưởng tới lập luận chính

Phụ lục A · Phần thưởng

Reward. We use BeyondMimic’s motion-tracking reward (Table A.2), removing its self-collision penalty. That penalty guards against reward hacking by a stochastic policy. When the reference brings two bodies close without contact, pressing them together suppresses the action noise and raises the velocity-tracking reward. Our policy is deterministic in imagined rollouts (§3.3), so the exploit has no payoff and the term is unnecessary. The joint-limit penalty is lowered from −10 to −2.


Phần thưởng. Chúng tôi dùng phần thưởng bám chuyển động của BeyondMimic (Bảng A.2) nhưng bỏ đi số hạng phạt tự va chạm. Số hạng này vốn để ngăn một chính sách ngẫu nhiên “lách luật” phần thưởng: khi chuyển động tham chiếu đưa hai bộ phận cơ thể lại gần nhau mà không chạm, việc ép chúng vào nhau sẽ triệt tiêu nhiễu hành động và làm tăng phần thưởng bám vận tốc. Chính sách của chúng tôi là tất định trong các lượt tưởng tượng (§3.3), nên mánh khóe này không mang lại lợi ích gì và số hạng phạt trở nên không cần thiết. Mức phạt vượt giới hạn khớp cũng được giảm từ −10 xuống −2.

Phụ lục A · Kết thúc episode & ngẫu nhiên hóa miền

Termination. An episode terminates when the root body deviates from the reference beyond a height or tilt threshold (|ep,z| > 0.25 m or etilt > 0.8). The tilt error etilt is the absolute difference between the z-components of the gravity direction expressed in the reference and robot root (pelvis) frames. For an upright reference, etilt reaches 0.8 at about 78° of tilt. Unlike BeyondMimic, we do not terminate on end-effector deviation.

Sim context and domain randomization. The per-episode sim context ξ collects the domain-randomization parameters fed to the world model (§3.2); Table A.3 lists them. We omit BeyondMimic’s root-velocity perturbations: such pushes inject state discontinuities that the deterministic world model cannot capture, and we find randomization over the physical parameters alone suffices for transfer to hardware.


Điều kiện kết thúc. Một episode kết thúc khi thân gốc lệch khỏi chuyển động tham chiếu vượt ngưỡng độ cao hoặc độ nghiêng (|ep,z| > 0,25 m hoặc etilt > 0,8). Sai số nghiêng etilt là trị tuyệt đối của hiệu giữa các thành phần z của hướng trọng lực, biểu diễn trong hệ tọa độ gốc (xương chậu) của tham chiếu và của robot. Với tham chiếu đứng thẳng, etilt đạt 0,8 ở góc nghiêng khoảng 78°. Khác với BeyondMimic, chúng tôi không kết thúc episode khi đầu mút tay chân bị lệch.

Ngữ cảnh mô phỏng và ngẫu nhiên hóa miền. Ngữ cảnh mô phỏng ξ của từng episode gom các tham số ngẫu nhiên hóa miền được đưa vào mô hình thế giới (§3.2), liệt kê ở Bảng A.3. Chúng tôi bỏ các nhiễu loạn vận tốc gốc của BeyondMimic: những cú đẩy như vậy tạo ra gián đoạn trạng thái mà mô hình thế giới tất định không thể biểu diễn. Chúng tôi nhận thấy chỉ ngẫu nhiên hóa các tham số vật lý cũng đã đủ để chuyển giao sang phần cứng.

Phụ lục E · Lọc dữ liệu chuyển động

We train on the publicly available G1-retargeted BONES-SEED motion set [28]. The raw release contains 142,220 clips, but many interact with terrain or objects the robot cannot use (stairs, boxes, ladders, chairs) or carry retargeting artifacts that make them infeasible for a free-standing humanoid on flat ground. We remove these in two passes and keep 129,514 clips (Table A.7). […] The name filter (adapted from the keyword list in SONIC’s released data-processing code [1], plus a few terms it misses) removes 12,553 clips. […] The feasibility filter removes a further 153 clips.


Chúng tôi huấn luyện trên tập chuyển động BONES-SEED công khai [28], đã được chuyển đích (retarget) sang robot G1. Bản phát hành gốc có 142.220 clip, nhưng nhiều clip có tương tác với địa hình hoặc vật thể mà robot không dùng được (cầu thang, hộp, thang, ghế), hoặc mang lỗi chuyển đích khiến chúng không khả thi với một robot hình người đứng tự do trên mặt phẳng. Chúng tôi loại bỏ các clip này qua hai lượt lọc và giữ lại 129.514 clip (Bảng A.7). Bộ lọc theo tên (điều chỉnh từ danh sách từ khóa trong mã xử lý dữ liệu SONIC đã công bố [1], bổ sung thêm vài từ còn thiếu) loại 12.553 clip. Bộ lọc tính khả thi loại thêm 153 clip.

Phụ lục F.1 · Thước đo của bộ đánh giá

We evaluate SONIC and SuperMimic on the same filtered BONES-SEED training-set benchmark, containing 129,514 evaluated motions. For SONIC we evaluate its released checkpoint and its v1.1 checkpoint [1]. Each motion plays once from its first frame, with the same simulation for every policy: foot friction 1.0, no domain randomization or observation noise, and deterministic physics. Each policy uses its own actuator gains and action scale, and receives its observations as its training environment builds them. A motion is marked as failed if the rollout triggers SuperMimic’s training termination (Appendix A). SONIC’s own success criterion fails a motion on root and end-effector height deviations above 0.25 m, without an orientation term [1].


Chúng tôi đánh giá SONIC và SuperMimic trên cùng một bộ đánh giá là tập huấn luyện BONES-SEED đã lọc, gồm 129.514 chuyển động. Với SONIC, chúng tôi đánh giá cả checkpoint đã công bố lẫn checkpoint v1.1 [1]. Mỗi chuyển động được phát một lần từ khung hình đầu tiên, trong cùng điều kiện mô phỏng cho mọi chính sách: ma sát bàn chân bằng 1,0, không ngẫu nhiên hóa miền, không nhiễu quan sát, vật lý tất định. Mỗi chính sách dùng hệ số khuếch đại bộ chấp hành và thang hành động riêng, và nhận quan sát theo đúng cách môi trường huấn luyện của nó tạo ra. Một chuyển động bị tính là thất bại nếu lượt chạy kích hoạt điều kiện kết thúc trong huấn luyện của SuperMimic (Phụ lục A). Tiêu chí thành công riêng của SONIC thì đánh trượt một chuyển động khi độ cao của gốc và đầu mút lệch quá 0,25 m, không xét đến hướng.

Phụ lục F.2 · Phân bố chuyển động thất bại

Table A.8 counts failed motions per motion group. SONIC fails whole groups (all 44 flips, all 22 side rolls, and all 8 motions of one dance routine) and 15 of the 24 broad jumps. Its v1.1 checkpoint fails 239 motions, among them the same flips and dance motions and 19 of the 22 side rolls. After 3 h on one GPU, SuperMimic’s failures concentrate in a few small groups of hard motions: the first five groups of Table A.8, 195 motions, hold 14 of its 25 failures. In no group does it fail more motions than SONIC. After 9.8 h on two GPUs, SuperMimic fails on none. Figure A.1 shows the count over training. The benchmark motions are training motions for both methods, so the counts measure how fully each policy covers these training motions, not generalization to new motions.

Motion group (motions) SONIC SuperMimic 1 GPU × 3 h SuperMimic 2 GPUs × 9.8 h
side rolls (22) 22 2 0
flips: 360°, 180°, 90° (44) 44 1 0
fire-in-the-hole turns (20) 3 3 0
crossed legs (10) 9 0 0
lying, resting and standing up (99) 28 8 0
broad jumps (24) 15 0 0
dance routine (8) 8 0 0
all other motions (129,287) 50 11 0
total (129,514) 179 25 0

Bảng A.8 thống kê số chuyển động thất bại theo từng nhóm. SONIC thất bại toàn bộ ở một số nhóm (cả 44 động tác lộn, cả 22 động tác lăn ngang, và cả 8 chuyển động của một bài nhảy), cùng 15 trên 24 cú bật xa. Checkpoint v1.1 của SONIC thất bại ở 239 chuyển động, trong đó có cùng các động tác lộn và nhảy múa, và 19 trên 22 động tác lăn ngang. Sau 3 giờ trên một GPU, các thất bại của SuperMimic chỉ tập trung ở vài nhóm nhỏ gồm các chuyển động khó: năm nhóm đầu của Bảng A.8, tổng cộng 195 chuyển động, chiếm 14 trong 25 thất bại. Không có nhóm nào mà SuperMimic thất bại nhiều hơn SONIC. Sau 9,8 giờ trên hai GPU, SuperMimic không thất bại ở chuyển động nào. Hình A.1 cho thấy số thất bại theo tiến trình huấn luyện. Các chuyển động trong bộ đánh giá đều là chuyển động huấn luyện của cả hai phương pháp, nên các con số này đo mức độ mỗi chính sách bao phủ được tập huấn luyện, chứ không đo khả năng khái quát hóa sang chuyển động mới.

Phụ lục G.2 · Kiểm tra phản hồi bước

Protocol. From standing, the policy receives a fixed command for 5 s; each command is tested in four trials. The relative steady-state error is the norm of the mean velocity error over the last 2 s, divided by the norm of the command, with the root velocity measured in the heading frame. The per-command value is the median over the trials that did not fall. The 672 step responses form a 15×15 grid on each of three planes, spanning the uniform command range above, with the standing command left out.

Results. The RL encoder has the lower error on 650 of the 672 step responses, and the distillation encoder on 15. Their median relative errors are 0.16 and 0.49. Distillation falls in every trial on seven commands, all combining translation with a turn of at least 2.8 rad/s, where the motion library has almost no data. Each policy has one training seed.


Giao thức. Bắt đầu từ tư thế đứng, chính sách nhận một lệnh cố định trong 5 giây; mỗi lệnh được thử bốn lần. Sai số xác lập tương đối là chuẩn của sai số vận tốc trung bình trong 2 giây cuối, chia cho chuẩn của lệnh, với vận tốc gốc đo trong hệ quy chiếu hướng di chuyển. Giá trị cho mỗi lệnh là trung vị trên các lần thử không bị ngã. 672 phản hồi bước tạo thành một lưới 15×15 trên mỗi mặt phẳng trong ba mặt phẳng, trải khắp dải lệnh lấy mẫu đều nói trên, bỏ đi lệnh đứng yên.

Kết quả. Bộ mã hóa RL có sai số thấp hơn ở 650 trên 672 phản hồi bước, còn bộ mã hóa chưng cất thấp hơn ở 15. Sai số tương đối trung vị lần lượt là 0,16 và 0,49. Phương án chưng cất ngã ở mọi lần thử với bảy lệnh, tất cả đều kết hợp tịnh tiến với quay ít nhất 2,8 rad/s, vùng mà thư viện chuyển động hầu như không có dữ liệu. Mỗi chính sách chỉ có một seed huấn luyện.

Tổng quan cấu trúc lập luận

Khung logic của bài báo: câu hỏi → luận điểm → bằng chứng → phản bác → kết luận

① Câu hỏi

  • Làm sao mở rộng điều khiển toàn thân bằng bám chuyển động sang thư viện hàng trăm giờ mà không cần tính toán cấp cụm máy? (§1, §2)
  • Hiện trạng: SONIC tốn khoảng 21.000 giờ-GPU; chưng cất thì làm thất thoát thông tin.

② Luận điểm

  • Chẩn đoán: RL không mô hình bỏ qua động lực học chung của mọi chuyển động (¶1.2).
  • Giải pháp: một mô hình thế giới khả vi duy nhất + BPTT tầm ngắn + critic (¶1.3, §3).
  • Cơ chế: khấu hao, tốc độ, gradient giải tích (¶1.7).

③ Bằng chứng

  • So với SONIC: >1000× ít giờ-GPU; số thất bại 25 → 0, so với 179 (§4.1, F).
  • Đối chứng PPO-Sim: 1,2 giờ so với chưa đạt sau 18 giờ trên 8 GPU (§4.1).
  • Ba cơ chế: sai số 0,007–0,011; nhanh hơn 10–62×; ít bước hơn 64× (§4.2).
  • Critic giúp phục hồi khi bị đẩy (§4.3); chạy trên G1 thật (§4.4); encoder RL thắng 650/672 (§4.5).

④ Phản bác / nhượng bộ

  • Chặn trên các yếu tố gây nhiễu: dữ liệu 2,3×, GPU ≤5,5× (¶4.1b).
  • Không cần mô phỏng khả vi (¶1.3); chấp nhận sai số mô hình để đổi lấy tốc độ (¶2.3).
  • Không có critic thì “thiển cận” (¶3.3e → §4.3).
  • Thừa nhận: đánh giá trên tập huấn luyện (F.2), chỉ có mặt phẳng, chỉ dữ liệu mô phỏng (§6).

⑤ Kết luận

  • Tính toán không còn là nút thắt của việc mở rộng (§5).
  • Đo quy luật mở rộng của bám chuyển động giờ chỉ cần một GPU cho mỗi lượt chạy.
  • Mô hình thế giới còn tái sử dụng được cho RL hạ nguồn.
Luận điểm trung tâm trong một câu Vì mọi chuyển động của robot hình người đều chia sẻ cùng một động lực học, nên chỉ cần học một mô hình thế giới khả vi duy nhất và lấy gradient chính sách xuyên qua nó là có thể huấn luyện một bộ bám chuyển động toàn thân tốt hơn SONIC với lượng giờ-GPU ít hơn hơn 1000 lần, biến việc mở rộng điều khiển toàn thân từ bài toán hạ tầng thành bài toán chạy được trên một GPU.

Điểm mạnh nhất

Chuỗi bằng chứng cơ chế có kiểm soát. PPO-Sim giữ nguyên mọi thiết lập (chuyển động, phần thưởng, mạng, ngẫu nhiên hóa miền), thậm chí còn có gấp đôi số môi trường, nhưng vẫn không đạt 0,82 sau 18 giờ trên 8 GPU, trong khi SuperMimic đạt sau 1,2 giờ trên 1 GPU. Ablation PPO-WM thì dùng cùng một mô hình thế giới và chỉ đổi cách tính gradient, cho chênh lệch 64× về số bước. Hai thí nghiệm này cô lập đóng góp của gradient giải tích khỏi tốc độ triển khai, bác bỏ trực tiếp giải thích thay thế “chỉ nhờ mô hình chạy nhanh”, và nối khớp với lập luận lý thuyết về phương sai gradient ở ¶3.3c.

Điểm yếu nhất

Con số tiêu đề “>1000×” và khẳng định “removes compute as the bottleneck” dựa trên một so sánh liên quy trình có nhiều biến nhiễu chưa được kiểm soát. Bài báo đặt thời điểm vừa vượt của SuperMimic cạnh tổng ngân sách huấn luyện của SONIC, chứ không phải thời gian SONIC cần để đạt cùng mức. Hai bên khác nhau về dữ liệu, GPU và phạm vi công việc (SONIC còn huấn luyện nhiều bộ mã hóa). Thất bại được chấm theo tiêu chí của SuperMimic, trên chính tập huấn luyện, và không báo cáo phương sai giữa các seed. Phần chuyển giao thực tế chỉ có 4 minh họa định tính, và phạm vi bị giới hạn ở mặt phẳng, không có nhiễu đẩy. Phép khái quát hóa vượt khá xa những gì dữ liệu chứng minh được.