Annotated paper · Robotics / Imitation learning · EN / VI
Flash ALOHA:
Learning Fast and
Precise Manipulation
Học thao tác vừa nhanh, vừa chính xác.
Luận điểm cần theo dõiThu mẫu nhanh trên chính robot, kết hợp mặt nạ hình học và làm trơn hành động, có thể tạo thao tác hai tay vừa nhanh vừa chính xác từ ít dữ liệu.
Phụ lục V
80% · Bảng III
5,70 s · Bảng III
Cách đọc. Mỗi đơn vị gồm nguyên văn tiếng Anh có tô màu, bản dịch nghĩa tiếng Việt ngay bên dưới, và chú giải tương ứng ở cột phải. Trên điện thoại, chú giải nằm sau bản dịch. Số § là mã đoạn của bản đọc này; số trang dẫn về PDF.
Phạm vi biên tập. Bao gồm toàn bộ văn xuôi chính, lời cảm ơn, năm phụ lục, chú thích 10 hình, số liệu của sáu bảng và 59 tài liệu tham khảo. Chỉ nối lại dòng / từ bị ngắt do dàn trang và chuẩn hóa ký hiệu công thức; bảng rộng được tách theo nhiệm vụ, phụ lục đặt trước danh mục tham khảo để đọc liền mạch. Bản dịch và chú giải là biên soạn hỗ trợ học thuật, không phải nội dung do tác giả viết.
Nguồn. PDF do người đọc cung cấp (v=2) · Trang dự án & video. Luận cứ và số liệu trong bản đọc dựa vào PDF; video dự án chỉ cung cấp bối cảnh, không được xem là kiểm chứng độc lập. Tệp hoạt động ngoại tuyến: font, hình, CSS và JavaScript đều được nhúng.
Abstract Tóm tắt
Vấn đề, giải pháp và tuyên bố trung tâm
Learning from human demonstrations has enabled robots to acquire a wide range of manipulation skills, but learned policies typically execute far slower than ordinary humans. This speed gap is mainly due to lack of an interface for precisely collecting demonstration data at high speed, and the difficulty in training policies that can robustly execute high-speed motions. In this paper, we present Flash ALOHA, a practical system for learning fast and precise robotic manipulation. Our system uses kinesthetic teaching to intuitively collect accurate and near-human-speed demonstrations on a backdrivable bimanual platform, yielding natural and fast trajectories. Our learning pipeline consists of two components: a lightweight smoothing algorithm to address tracking instabilities produced by action chunking, and for visual alignment we mask out the operator visible in the camera views. Given 50 demonstrations for each task, Flash ALOHA autonomously completes bimanual tasks such as ball tossing and catching, folding shorts, battery insertion, and bussing tables at over 80% success rates while close to human speed.
Học từ thao tác mẫu của con người đã giúp robot tiếp thu nhiều kỹ năng thao tác, nhưng các chính sách học được thường thực thi chậm hơn nhiều so với người bình thường. Khoảng cách tốc độ này chủ yếu bắt nguồn từ việc thiếu giao diện thu thập chính xác dữ liệu mẫu ở tốc độ cao, đồng thời khó huấn luyện chính sách có thể thực hiện ổn định các chuyển động nhanh. Trong bài báo này, chúng tôi giới thiệu Flash ALOHA, một hệ thống thực tiễn để học thao tác robot vừa nhanh vừa chính xác. Hệ thống sử dụng phương pháp dạy học bằng dẫn động trực tiếp: người vận hành hướng dẫn một nền tảng hai tay máy có khả năng dẫn động ngược, nhờ đó thu được các quỹ đạo tự nhiên, chính xác và gần tốc độ con người. Quy trình học gồm hai thành phần: thuật toán làm trơn gọn nhẹ nhằm khắc phục sự mất ổn định khi bám quỹ đạo do phân đoạn hành động, và mặt nạ hình ảnh để loại bỏ người vận hành khỏi các góc nhìn camera, qua đó đồng nhất miền thị giác. Với 50 lượt thao tác mẫu cho mỗi nhiệm vụ, Flash ALOHA tự thực hiện các tác vụ hai tay như tung–bắt bóng, gấp quần đùi, lắp pin và dọn bàn với tỷ lệ thành công trên 80%, đồng thời đạt tốc độ gần với con người.
Fig. 1: Flash ALOHA. We present a full-stack system for learning precise and high-speed manipulation policies, which can autonomously do bimanual toss and catch in under 2 seconds, bus a full dining set under 7, and fold a pair of shorts under 6.
Flash ALOHA là hệ thống hoàn chỉnh học thao tác chính xác ở tốc độ cao: tự tung–bắt bóng dưới 2 giây, dọn bộ đồ ăn dưới 7 giây và gấp quần đùi dưới 6 giây.
Introduction Mở đầu
Vì sao robot cần học từ dữ liệu nhanh?
Learning from human demonstrations has proven to be a powerful paradigm for teaching robots a wide array of complex skills. We have seen robots learn everything from fine-grained manipulation tasks such as threading a shoelace and lighting a match to mobile manipulation tasks such as sauteing and serving shrimp [1]–[3]. However, despite these successes, a significant gap remains between robotic and human performance: speed. While a person can perform many everyday chores with fluid and rapid motions, policies learned from demonstration typically execute with a slow and deliberate pace that feels distinctly non-human. This disparity is more than just an aesthetic issue; it is a fundamental barrier to deploying robots in practical human-centric environments where efficiency and responsiveness are important. For time-sensitive tasks like cooking and serving food, or collaborative tasks requiring synchronization with humans, the value of a robotic assistant diminishes greatly if it performs these tasks at a fraction of human speed.
Học từ thao tác mẫu của con người đã chứng tỏ là một cách tiếp cận hiệu quả để dạy robot nhiều kỹ năng phức tạp. Robot đã học được từ những thao tác tinh như xỏ dây giày, quẹt diêm cho đến các thao tác di động như xào và phục vụ tôm [1]–[3]. Tuy nhiên, giữa thành tích của robot và con người vẫn còn một khoảng cách đáng kể: tốc độ. Con người thường làm việc nhà bằng những chuyển động nhanh và liền mạch, trong khi chính sách học từ mẫu thường thực hiện chậm rãi, thận trọng và thiếu tự nhiên. Khác biệt này không chỉ liên quan đến cảm nhận thẩm mỹ, mà còn là rào cản căn bản khi triển khai robot trong môi trường lấy con người làm trung tâm, nơi hiệu suất và khả năng phản ứng rất quan trọng. Trong các công việc nhạy về thời gian như nấu và phục vụ thức ăn, hoặc công việc cộng tác đòi hỏi phối hợp nhịp nhàng với con người, giá trị của trợ lý robot giảm mạnh nếu nó chỉ làm việc với một phần tốc độ của con người.
The root of this speed gap lies in two challenges. First, there is a lack of accessible systems for collecting demonstration data that capture the dynamics of human-speed motion. Teleoperation interfaces based on puppeteering [1], 3D mice [4], or VR controllers [5] are not designed for high-speed interaction, due to latency, unintuitive control, and limited sensory feedback for human operators, causing heavy mental load for human operators. This forces human operators to move slowly and carefully, resulting in datasets of sluggish trajectories. The policy, in turn, learns to imitate this slow behavior. Handheld devices [6] offer the benefit of more intuitive data collection, and promise scalability by avoiding demonstrations on real robots. However, such devices commonly rely on visual and inertial information for localization, and completely fail in pose estimation for high speed motions (Fig. 2b). State of the art visual-inertial tracking systems degrade quickly with speed, seen in Fig. 2a.
Khoảng cách tốc độ này có hai nguyên nhân chính. Thứ nhất, hiện thiếu những hệ thống dễ tiếp cận để thu thập dữ liệu mẫu phản ánh động lực học của chuyển động ở tốc độ con người. Các giao diện điều khiển từ xa như tay dẫn động kiểu con rối [1], chuột 3D [4] hay bộ điều khiển thực tế ảo [5] không được thiết kế cho tương tác tốc độ cao: độ trễ, cách điều khiển thiếu trực quan và phản hồi cảm giác hạn chế làm tăng gánh nặng nhận thức của người vận hành. Vì vậy, họ phải di chuyển chậm và cẩn thận, tạo ra dữ liệu quỹ đạo chậm; chính sách sau đó cũng học theo hành vi ấy. Thiết bị cầm tay [6] giúp thu thập dữ liệu trực quan hơn và hứa hẹn khả năng mở rộng vì không cần thực hiện mẫu trực tiếp trên robot. Tuy nhiên, các thiết bị này thường dựa vào tín hiệu thị giác và quán tính để định vị, và có thể thất bại hoàn toàn khi ước lượng tư thế trong chuyển động nhanh (Hình 2b). Như Hình 2a cho thấy, chất lượng theo dõi thị giác–quán tính tiên tiến suy giảm nhanh khi tốc độ tăng.
Second, even after assuming near perfect recording, learning a policy that can reliably execute these motions is a significant hurdle. Using recorded positions as actions as in handheld devices [6] assumes perfectly reaching every commanded position on time, requiring high torques at high speeds. Discontinuities from action chunking create catastrophic instability. Additionally, position data may not always include all necessary information for forceful manipulation, such as when pressing hard on near stationary objects. Visually, having the operator in view of the camera when directly moving the robot also can confuse the policy.
Thứ hai, ngay cả khi giả định quá trình ghi nhận gần như hoàn hảo, học một chính sách có thể thực hiện tin cậy những chuyển động ấy vẫn là thách thức lớn. Dùng các vị trí đã ghi làm hành động, như trong thiết bị cầm tay [6], ngầm giả định robot đạt đúng từng vị trí yêu cầu đúng thời điểm; ở tốc độ cao, điều này đòi hỏi mô-men xoắn lớn. Sự gián đoạn giữa các đoạn hành động có thể gây mất ổn định nghiêm trọng. Hơn nữa, dữ liệu vị trí không phải lúc nào cũng chứa đủ thông tin cho các thao tác cần lực, chẳng hạn ấn mạnh vào vật gần như đứng yên. Về thị giác, sự xuất hiện của người vận hành trong camera khi trực tiếp di chuyển robot cũng có thể khiến chính sách nhầm lẫn.
To address these issues, we introduce Flash ALOHA, a practical system for directly learning near human speed bimanual manipulation from human demonstrations. During data collection, the end effectors of lightweight robot arms are attached with two scissor handles for human operators to backdrive the arms under gravity and friction compensation. This method of direct physical guidance provides operators with rich real-time sensory feedback in vision, haptics, and sound, enabling high speed, precise, and contact rich data collection. The arms’ motor encoders provide precise position readings even under aggressive motion, avoiding pose estimation issues. To ensure that position trajectories produce effective policies, operators at collection time may directly replay recorded trajectories on the arms between episodes, catching any tracking issues that may arise due to missing action data.
Để giải quyết các vấn đề trên, chúng tôi giới thiệu Flash ALOHA, một hệ thống thực tiễn cho phép học trực tiếp thao tác hai tay ở tốc độ gần con người từ các lượt làm mẫu. Khi thu thập dữ liệu, đầu công tác của các tay máy nhẹ được gắn tay cầm dạng kéo; người vận hành dẫn động ngược tay máy với sự hỗ trợ bù trọng lực và ma sát. Việc hướng dẫn trực tiếp này cung cấp tức thời thông tin thị giác, xúc giác và âm thanh phong phú, giúp thu thập các thao tác nhanh, chính xác và giàu tiếp xúc. Bộ mã hóa động cơ của tay máy cho số đo vị trí chính xác ngay cả khi chuyển động mạnh, tránh được vấn đề ước lượng tư thế. Để bảo đảm quỹ đạo vị trí có thể tạo ra chính sách hiệu quả, giữa các lượt thu thập, người vận hành có thể phát lại quỹ đạo đã ghi trên robot nhằm phát hiện lỗi bám quỹ đạo do thông tin hành động còn thiếu.
We present a learning pipeline for high-speed manipulation data. Our approach incorporates two key techniques. First, to ensure smooth execution, we introduce test-time smoothing, a post-hoc real-time processing for smooth transitions between action chunks. This method helps mitigate jerkiness at high speed that can arise from action chunking, allowing the robot to perform fast motions without sacrificing stability. Second, to address the visual domain shift from a human operator being present with hands holding the robot end-effectors, we employ a masking technique to align the visual domains between collection and deployment. By removing regions with human hands appearing in cameras via an analytical model, we align the visual input distributions. We find that while performance remains high without visual alignment, masking further improves performance.
Chúng tôi xây dựng một quy trình học dành cho dữ liệu thao tác tốc độ cao với hai kỹ thuật chính. Trước hết, để thực thi êm, chúng tôi đưa vào bước làm trơn tại thời điểm chạy: xử lý hậu kỳ theo thời gian thực để chuyển tiếp mượt giữa các đoạn hành động. Cách này giảm chuyển động giật do phân đoạn hành động ở tốc độ cao, giúp robot chuyển động nhanh mà vẫn ổn định. Thứ hai, để xử lý sự khác biệt thị giác do bàn tay người vận hành đang giữ đầu công tác trong dữ liệu mẫu, chúng tôi dùng mặt nạ để đồng nhất miền hình ảnh giữa thu thập và triển khai. Các vùng có bàn tay người được loại bỏ bằng một mô hình giải tích, giúp phân bố đầu vào thị giác nhất quán hơn. Chúng tôi nhận thấy hiệu năng vẫn cao khi chưa đồng nhất thị giác, nhưng mặt nạ còn cải thiện thêm kết quả.
The synergy between our intuitive hardware for near-human-speed data collection and our robust learning pipeline allows Flash ALOHA to learn fast, complex tasks from a small number of demonstrations. With only 50 demonstrations per task, our system learns to autonomously perform fine-grained tasks such as tossing a ball from one arm and catching it with the other, folding chino shorts, bussing a table, inserting a battery into a remote, and unstacking plastic cups, achieving over 80% success rates. Critically, these tasks are completed at speeds that are close to average human speeds, reducing the execution time by over 50% compared to that of teleoperation systems, and represent a significant step towards creating robots that can operate efficiently in the real world.
Sự kết hợp giữa phần cứng trực quan cho phép thu thập dữ liệu gần tốc độ con người và quy trình học ổn định giúp Flash ALOHA học những tác vụ nhanh, phức tạp từ ít lượt mẫu. Chỉ với 50 lượt mẫu cho mỗi nhiệm vụ, hệ thống có thể tự thực hiện các thao tác tinh như một tay tung bóng để tay kia bắt, gấp quần đùi chino, dọn bàn, lắp pin vào điều khiển từ xa và tách cốc nhựa, với tỷ lệ thành công trên 80%. Quan trọng hơn, các nhiệm vụ được hoàn thành ở tốc độ gần tốc độ trung bình của con người và giảm hơn 50% thời gian thực thi so với các hệ thống điều khiển từ xa. Đây là một bước tiến đáng kể hướng tới robot có thể làm việc hiệu quả trong thế giới thực.
Fig. 2: Visual-Inertial Pose Estimation vs. Control Tracking. (a) Average error in 1 s windows over replayed action trajectories, binned by end-effector speed. (b) End effector trajectory of a recording test from the robot’s encoders (blue) and a wrist-mounted visual-inertial tracker (red), a drift of over 10 cm. Per-task policy rollouts and setup details can be found in Appendix I, II.
So sánh ước lượng tư thế thị giác–quán tính và bám lệnh điều khiển. (a) Sai số trung bình trong cửa sổ 1 giây trên quỹ đạo phát lại, chia nhóm theo tốc độ đầu công tác. (b) Quỹ đạo encoder (xanh) và tracker thị giác–quán tính ở cổ tay (đỏ), với độ trôi vượt 10 cm. Chi tiết cấu hình và chạy chính sách ở Phụ lục I–II.
Hardware Setup & Data Collection Phần cứng & thu dữ liệu
Giảm khoảng cách giữa người làm mẫu và robot
We set up our hardware with the consideration of using kinesthetic teaching for fast and precise data collection. We prioritize comfort for human operators, pursuing maximal achievable speed using our hardware setup.
Chúng tôi thiết kế phần cứng với mục tiêu sử dụng phương pháp dạy bằng dẫn động trực tiếp để thu thập dữ liệu nhanh và chính xác. Sự thoải mái của người vận hành được ưu tiên nhằm đạt tốc độ cao nhất có thể trên cấu hình phần cứng này.
Shown in Fig. 3, Flash ALOHA consists of a bimanual setup of two different types of 6-DoF robot arms, HESSIAN and ARX, each with one parallel jaw gripper. We leverage off-the-shelf robot arms using planetary actuators, and human operators can back-drive the robot arms during kinesthetic teaching with relatively low internal friction in the joints, compared to others like harmonic actuators. We only use the HESSIAN setup for the highly dynamic Toss & Catch task since this task requires high joint velocity limits for high-speed trajectory following and very low joint friction for high-speed data collection.
Như Hình 3, Flash ALOHA được triển khai trên cấu hình hai tay máy với hai loại tay máy sáu bậc tự do, HESSIAN và ARX; mỗi tay có bộ kẹp hai ngón song song. Chúng tôi tận dụng tay máy thương mại dùng bộ truyền động hành tinh. So với các cơ cấu như truyền động điều hòa, ma sát nội tại ở khớp thấp hơn cho phép người vận hành dẫn động ngược robot khi làm mẫu. Riêng nhiệm vụ tung–bắt bóng có động lực học mạnh sử dụng cấu hình HESSIAN vì cần giới hạn vận tốc khớp cao để bám quỹ đạo nhanh và ma sát khớp rất thấp để thu dữ liệu tốc độ cao.
We implement real-time gravity compensation based on the joint positions and masses of each robot link through torque control at 100Hz [56]. We retrofit the end effector of a robot arm with scissor handles for human operators to hold and backdrive the robots arms for completing manipulation tasks. One operator handle is attached on each jaw of the gripper. The smaller handle is for the thumb, and the other handle is for the other four fingers. Fingers are held in place with an adjustable strap, providing human operators with firm and intuitive grasps of the end effectors of the robot arms. The long finger handle allows operators to pull downwards and sideways, while hand contact with the bottom of the arm assists with upwards acceleration. The whole setup consists of three RGB cameras capturing images at 50Hz, with one wrist camera mounted on each arm facing towards the region between the gripper jaws, and one top-down camera capturing the workspace from above.
Chúng tôi thực hiện bù trọng lực thời gian thực từ vị trí khớp và khối lượng từng khâu robot thông qua điều khiển mô-men ở 100 Hz [56]. Đầu công tác được lắp thêm tay cầm dạng kéo để người vận hành giữ và dẫn động ngược tay máy khi thực hiện nhiệm vụ. Mỗi ngón kẹp gắn một tay cầm: tay cầm nhỏ dành cho ngón cái, tay còn lại dành cho bốn ngón. Dây đai điều chỉnh giữ các ngón tay chắc chắn, tạo cách cầm đầu công tác trực quan và vững. Tay cầm dài cho phép kéo xuống hoặc sang ngang; tiếp xúc bàn tay với mặt dưới cánh tay hỗ trợ gia tốc hướng lên. Hệ thống có ba camera RGB ghi hình ở 50 Hz: một camera trên cổ tay mỗi tay máy hướng vào vùng giữa hai ngón kẹp, và một camera nhìn từ trên xuống toàn bộ vùng làm việc.
During data collection, we record three 360 x 640 RGB images I1, I2, I3 from the three cameras, joint positions q, and joint velocities ˙q at 50Hz. Through kinesthetic teaching where the human operators directly hold and guide the robots to do different tasks, human operators obtain various real-time sensory feedbacks, including 3D vision, haptics through the handles, and contact sound without any delays that exist in common teleoperation platforms.
Trong quá trình thu dữ liệu, chúng tôi ghi ba ảnh RGB 360 × 640 từ các camera (I₁, I₂, I₃), vị trí khớp q và vận tốc khớp q̇ ở 50 Hz. Người vận hành trực tiếp giữ và hướng dẫn robot thực hiện các nhiệm vụ, nhờ vậy nhận được phản hồi cảm giác theo thời gian thực, gồm thị giác ba chiều, cảm giác tiếp xúc qua tay cầm và âm thanh tiếp xúc, không chịu các độ trễ truyền dẫn thường gặp ở nền tảng điều khiển từ xa.
Data Processing, Policy Learning & Deployment Xử lý dữ liệu, học & triển khai
Mặt nạ hình học và chuyển tiếp hành động mượt
Given a dataset of kinesthetic teaching data for fast and precise manipulation, directly applying imitation learning algorithms fail for two reasons. First, a human operator is present with hands holding the robot end-effectors during data collection, while the robots are alone during the autonomous execution phase after deployment. This creates a visual distribution shift between data collection and deployment. Second, fast movements are less forgiving, as small errors in execution can compound into unrecoverable failures and non-smooth actions can cause instability. The high-speed nature of the manipulation data collected presents a hurdle for learning a reliable policy.
Với tập dữ liệu dẫn động trực tiếp cho thao tác nhanh và chính xác, áp dụng thẳng thuật toán học bắt chước có thể thất bại vì hai lý do. Thứ nhất, khi thu dữ liệu, người vận hành giữ đầu công tác nên bàn tay hiện trong ảnh; khi triển khai tự hành, robot hoạt động một mình. Điều này gây khác biệt phân bố thị giác giữa hai giai đoạn. Thứ hai, chuyển động nhanh có dung sai thấp: sai số thực thi nhỏ có thể tích lũy thành thất bại không thể khắc phục, còn hành động thiếu trơn có thể gây mất ổn định. Vì vậy, tính chất tốc độ cao của dữ liệu tạo ra trở ngại cho việc học một chính sách tin cậy.
To address the distribution shift between data collection and deployment, we employ a masking technique to align the visual domains for training and testing, illustrated in Fig. 4. By removing regions with human hands and arms appearing in cameras using an analytical model, we align the visual input distributions, preventing the policy from being distracted by the presence or absence of the human operator. And to ensure smooth execution of fast manipulation, we introduce test-time smoothing, a post-hoc real-time processing for smooth transitions between action chunks. Illustrated in Fig. 5, this method helps mitigate the jerkiness at high speed that can arise from action chunking [3], allowing the robot to perform fast motions without sacrificing stability.
Để xử lý khác biệt phân bố giữa thu dữ liệu và triển khai, chúng tôi dùng mặt nạ nhằm đồng nhất miền thị giác khi huấn luyện và kiểm tra (Hình 4). Một mô hình giải tích loại bỏ các vùng có bàn tay và cánh tay người trong ảnh, giúp chính sách không bị chi phối bởi việc người vận hành xuất hiện hay biến mất. Để thực hiện thao tác nhanh một cách êm, chúng tôi thêm bước làm trơn tại thời điểm chạy: xử lý hậu kỳ thời gian thực để chuyển tiếp mượt giữa các đoạn hành động. Như Hình 5, phương pháp giảm hiện tượng giật do phân đoạn hành động [3], cho phép robot chuyển động nhanh mà vẫn ổn định.
Masking in Image Space. During training, we preprocess the collected data, aiming to mask out the appearances of hands and arms of the human operators. Given that the joint positions of both arms and robot description files are known, we can compute the poses of end-effectors of both robot arms in their respective base frames using forward kinematics (FK). We also know the transformation between the base frames of both arms through camera calibration. Thus, we can transform the end-effector pose of one arm into the base frame of the other arm. Since the relative pose of the handles for the human hands is fixed with respect to the end-effector pose, we deterministically calculate the center pose of the left hand in the right camera, and similarly for the right hand in the left camera, and mask out a small square region perpendicular to the end-effector pointing direction near the handles by setting the image RGB values for that region to be zero. For the top camera, we similarly mask out two rectangular regions for both hands and arms based on the end-effector poses. We provide an illustration for masking in Fig. 4. During deployment, we perform masking in real time for every frame. Formally, at each time step t, we perform the masking operation M and get three processed images I′1,t, I′2,t, I′3,t, where I′1,t, I′2,t, I′3,t = M(I1,t, I2,t, I3,t, qt, FK).
Che mặt nạ trong không gian ảnh. Khi huấn luyện, dữ liệu được tiền xử lý để che bàn tay và cánh tay người vận hành. Vì biết vị trí khớp và tệp mô tả robot, chúng tôi dùng động học thuận (FK) để tính tư thế đầu công tác của hai tay trong hệ tọa độ gốc tương ứng. Phép hiệu chuẩn camera cũng cung cấp biến đổi giữa hai hệ gốc, cho phép biểu diễn đầu công tác của tay này trong hệ của tay kia. Do vị trí tay cầm so với đầu công tác là cố định, có thể xác định tất định tâm bàn tay trái trong camera phải và ngược lại. Sau đó, một vùng vuông nhỏ gần tay cầm, vuông góc với hướng đầu công tác, được che bằng cách đặt các giá trị RGB về 0. Với camera trên cao, hai vùng chữ nhật tương ứng bàn tay và cánh tay được che dựa trên tư thế đầu công tác. Hình 4 minh họa thao tác này. Khi triển khai, mặt nạ được tính theo thời gian thực cho từng khung hình. Tại mỗi thời điểm t, phép M tạo ba ảnh đã xử lý theo công thức: (I′1,t, I′2,t, I′3,t) = M(I1,t, I2,t, I3,t, qt, FK).
Policy Learning. Unlike teleoperation where the action commands for the robots are explicitly sent through devices like leader arms or VR controllers, we only capture the visual and proprioceptive readings from the robots. We aim to train policies that can predict future joint positions which the robots should achieve given current images and proprioception. We follow the recent progress in imitation learning by using action chunking [1], which mitigates compounding error problems that is common in behavior cloning methods and improves overall performance. Given a policy π and an action chunk size of T, we train the policy by maximizing the probability π([qt+1, …, qt+T] | I′1,t, I′2,t, I′3,t, qt), where the predicted future joint positions will serve as the target joint positions for a low-level PD controller to execute. We additionally tune an action lookahead where we skip the first n actions at every chunk boundary, resulting from action delay at execution. In this paper, we use ACT [1] as the policy representation, but we expect other policy representations for imitation learning with action chunks would also work.
Học chính sách. Khác với điều khiển từ xa gửi trực tiếp lệnh qua tay dẫn hoặc bộ điều khiển thực tế ảo, chúng tôi chỉ ghi nhận hình ảnh và trạng thái tự cảm nhận của robot. Mục tiêu là huấn luyện chính sách dự đoán các vị trí khớp tương lai mà robot cần đạt từ ảnh và trạng thái hiện tại. Chúng tôi dùng phân đoạn hành động [1], một tiến bộ trong học bắt chước giúp giảm lỗi tích lũy thường gặp ở sao chép hành vi và nâng hiệu năng tổng thể. Với chính sách π và độ dài đoạn T, mô hình được huấn luyện bằng cách cực đại hóa xác suất π([qt+1, …, qt+T] | I′1,t, I′2,t, I′3,t, qt). Các vị trí dự đoán trở thành vị trí đích cho bộ điều khiển PD cấp thấp. Chúng tôi còn điều chỉnh khoảng nhìn trước hành động: bỏ n hành động đầu tại mỗi ranh giới đoạn để bù độ trễ thực thi. Bài báo sử dụng ACT [1] làm biểu diễn chính sách, nhưng kỳ vọng những biểu diễn học bắt chước theo đoạn khác cũng có thể dùng được.
Test-Time Smoothing. When moving at increased speeds, we observe that discontinuities between action chunks [3] become larger and more visible, affecting policy performance. We introduce a simple post-hoc test-time smoothing technique. Illustrated in Fig. 5, we tackle the discontinuity between two adjacent chunks by blending the last few actions of a chunk with the first few actions of the later chunk where these two action chunks have a small overlap in corresponding timesteps. For a smoothing window size of H smaller than the action chunk size T, an action chunk [q̂1t+1, …, q̂1t+T] is first predicted at timestep t, and another one [q̂2t+T−H+1, …, q̂2t+2T−H] is later predicted at timestep t + T − H. At timestep t′, the action command at′ is the raw predicted target joint position q̂t′+1 at regions where there is no chunk overlap. Within the overlapping regions, we weigh the two corresponding target joint positions by using a sigmoid coefficient w(t′) = sigmoid((t′ − (t + T − H) − H/2)/σ) where σ is a time scale, and the final blended action command is at′ = (1 − w(t′)) × q̂1t′+1 + w(t′) × q̂2t′+1.
Làm trơn tại thời điểm chạy. Khi tốc độ tăng, sự gián đoạn giữa các đoạn hành động [3] trở nên lớn và rõ hơn, làm giảm hiệu năng. Chúng tôi đưa ra một kỹ thuật hậu xử lý đơn giản: trộn những hành động cuối của đoạn trước với những hành động đầu của đoạn sau tại một vùng chồng lấn thời gian nhỏ (Hình 5). Chọn cửa sổ làm trơn H nhỏ hơn độ dài đoạn T. Đoạn thứ nhất [q̂1t+1, …, q̂1t+T] được dự đoán tại t; đoạn thứ hai [q̂2t+T−H+1, …, q̂2t+2T−H] được dự đoán tại t + T − H. Ngoài vùng chồng lấn, lệnh at′ là vị trí khớp đích dự đoán trực tiếp q̂t′+1. Trong vùng chồng lấn, hai dự đoán cùng thời điểm được kết hợp bằng trọng số sigmoid w(t′) = sigmoid((t′ − (t + T − H) − H/2)/σ), trong đó σ là thang thời gian. Lệnh cuối cùng là at′ = (1 − w(t′)) × q̂1t′+1 + w(t′) × q̂2t′+1.
By adjusting the smoothing horizon and time scale of the sigmoid coefficient, we can adjust how sharply and reactively the robot will change to follow a later action chunk from a previous obsolete action chunk.
Bằng cách điều chỉnh độ dài cửa sổ làm trơn và thang thời gian của trọng số sigmoid, chúng tôi có thể thay đổi độ gắt và mức độ phản ứng khi robot chuyển từ đoạn hành động cũ đã lỗi thời sang đoạn dự đoán mới.
Fig. 4: Masking. Our masking method adjusts in real time based on the position of the end effectors of both arms.
Mặt nạ. Phương pháp điều chỉnh theo thời gian thực dựa vào vị trí đầu công tác của cả hai tay máy.
Fig. 5: Test-Time Smoothing. Given a previous chunk of target joint positions ˆq1 and a later chunk ˆq2, we apply smoothing to obtain the final commanded actions a.
Làm trơn tại thời điểm chạy. Từ đoạn vị trí khớp đích trước q̂¹ và đoạn sau q̂², phép làm trơn tạo chuỗi lệnh cuối cùng a.
Experiments Thực nghiệm
Kiểm tra cơ chế, hiệu năng và trải nghiệm vận hành
In our experiments, we aim to determine the extent to which our masking strategy as well as our smoothing method benefit the overall success rate of policies. Additionally, we study the effects of several comparative approaches in these two domains. Through user trials, we verify the intuitive understanding that our directly operated data collection platform enables faster training of human operators. All main tasks are shown in Fig. 1.
Trong các thí nghiệm, chúng tôi đánh giá mức đóng góp của chiến lược mặt nạ và phương pháp làm trơn vào tỷ lệ thành công chung của chính sách. Chúng tôi cũng so sánh một số cách tiếp cận khác trong hai nhóm này. Thông qua thử nghiệm với người dùng, chúng tôi kiểm tra nhận định trực quan rằng nền tảng thu dữ liệu được vận hành trực tiếp giúp người vận hành học cách sử dụng nhanh hơn. Các nhiệm vụ chính được minh họa trong Hình 1.
Tasks Các nhiệm vụ
Năm phép thử cho phối hợp, tiếp xúc và động lực học
In Unstack Cups, the left arm reaches out and grasps the bottom of two stacked red solo cups. Then, the right arm subsequently grasps the lip of the top cup without contacting the bottom, and pulls. The grippers must carefully balance their grasps; if the left grips too hard, the right can’t tilt and grab. If the right over-grips, it pulls the entire stack. The cups’ initial starting positions are randomized along a fifteen centimeter piece of tape. This task is collected with a timer of four seconds.
Tách cốc. Tay trái vươn tới và nắm phần đáy của hai cốc nhựa đỏ đang chồng nhau. Tay phải nắm vành cốc trên mà không chạm cốc dưới rồi kéo ra. Hai bộ kẹp phải phối hợp lực nắm cẩn thận: nếu tay trái bóp quá mạnh, tay phải không thể nghiêng để nắm; nếu tay phải bóp quá chặt, nó sẽ kéo cả chồng cốc. Vị trí ban đầu của cốc được ngẫu nhiên hóa dọc một đoạn băng dính dài 15 cm. Dữ liệu nhiệm vụ được thu với giới hạn thời gian bốn giây.
Battery Insertion. During execution, one arm picks up a battery and places it at an oblique angle into a remote control, taking care not to touch the spring. It then pushes one end of the battery into the spring. The other gripper then raises and forcefully pushes down on the battery, slotting it into place. The battery and the remote are randomized along the tape. This task is collected in under seven seconds.
Lắp pin. Một tay nhặt pin rồi đặt nghiêng vào điều khiển từ xa, tránh chạm lò xo. Sau đó, nó đẩy một đầu pin vào lò xo. Bộ kẹp còn lại nâng lên và ấn mạnh xuống pin để đưa pin vào đúng khe. Pin và điều khiển được ngẫu nhiên hóa vị trí dọc đoạn băng dính. Dữ liệu nhiệm vụ được thu trong dưới bảy giây.
Bus Table involves removing common dining ware from a pan and placing them into a tray. An arm first grasps a nearby tray and brings it closer to the pan. Then, both arms engage, alternating picking up and placing four items from the pan into the tray: a cup, a bowl, a spoon, and a plate. The position of the pan is randomized along the tape. This task is collected with a timer of six seconds.
Dọn bàn. Robot lấy các vật dụng ăn uống thông thường ra khỏi một chiếc chảo và đặt vào khay. Trước hết, một tay nắm khay gần đó rồi kéo tới gần chảo. Tiếp theo, hai tay luân phiên gắp và chuyển bốn vật từ chảo sang khay: cốc, bát, thìa và đĩa. Vị trí chảo được ngẫu nhiên hóa dọc đoạn băng dính. Dữ liệu được thu với giới hạn sáu giây.
Fold Shorts involves folding a pair of shorts placed flat. The arms must reach and grasp the edge of the bottom trunk of the shorts and toss the trunk over from bottom to top flush against the top cover. Then, the left gripper must grasp the edge of the shorts along the waist, and toss it from left to right while the right arm creates a crease. The shorts are randomly rotated by up to thirty degrees in their initial position, and this task is collected against a timer of five seconds.
Gấp quần đùi. Quần được đặt phẳng. Hai tay vươn tới nắm mép phần dưới của quần rồi hất từ dưới lên trên, sao cho áp sát phần trên. Sau đó, tay trái nắm mép ở cạp quần và hất từ trái sang phải, trong khi tay phải tạo nếp gấp. Góc đặt ban đầu của quần được ngẫu nhiên hóa trong phạm vi 30 độ. Dữ liệu được thu với giới hạn năm giây.
Toss & Catch. The left arm first approaches and picks up a small soft ball on the table. Then it swings forward and up dynamically in high speed while releasing the ball. The right arm approaches the tossed ball-in-air swiftly with closing grippers to catch the ball. The task is only two seconds long.
Tung và bắt bóng. Tay trái tiến tới nhặt một quả bóng mềm nhỏ trên bàn, sau đó vung nhanh về trước và lên trên đồng thời thả bóng. Tay phải nhanh chóng đưa bộ kẹp tới quả bóng đang bay và khép lại để bắt. Toàn bộ nhiệm vụ chỉ dài hai giây.
Comparisons Các đối chứng
Bảy baseline trả lời những câu hỏi khác nhau
We compare our method to Inpainting, No Mask, Temporal Ensembling (TE), No Smooth, Puppeteering, Puppet Double Freq, and Puppet Skip Actions.
Chúng tôi so sánh phương pháp đề xuất với Inpainting, No Mask, Temporal Ensembling (TE), No Smooth, Puppeteering, Puppet Double Freq và Puppet Skip Actions.
Inpainting [57]. A policy trained on diffusion inpainted video, where the operator hands are segmented and replaced with the background by a pretrained segmentation [58] and pretrained diffusion network [59].
Inpainting [57]. Chính sách được huấn luyện từ video đã được điền nền bằng mô hình khuếch tán: bàn tay người vận hành được phân đoạn và thay bằng nền nhờ một mô hình phân đoạn huấn luyện sẵn [58] cùng một mạng khuếch tán huấn luyện sẵn [59].
No Mask. A policy trained with the raw video.
No Mask. Chính sách được huấn luyện trực tiếp trên video gốc, không che mặt nạ.
Temporal Ensembling [1]. A post-process smoothing method where an action chunk is predicted every timestep, and exponentially weighted and averaged with past action chunks.
Temporal Ensembling [1]. Đây là phương pháp làm trơn hậu xử lý: ở mỗi bước thời gian, một đoạn hành động được dự đoán rồi lấy trung bình với các đoạn quá khứ theo trọng số suy giảm hàm mũ.
No Smooth. No smoothing method applied.
No Smooth. Không áp dụng bất kỳ phương pháp làm trơn nào.
Puppeteering [1]. The operator collects and deploys policies on a teleoperated setup.
Puppeteering [1]. Người vận hành thu thập dữ liệu và triển khai chính sách trên một hệ thống điều khiển từ xa bằng tay dẫn–tay theo.
Puppet Double Freq. On the puppeteering setup, the policy is deployed with double the controller frequency.
Puppet Double Freq. Trên hệ thống tay dẫn–tay theo, chính sách được triển khai với tần số bộ điều khiển tăng gấp đôi.
Puppet Skip Actions. On the puppeteering setup, the policy acts on every other predicted action per chunk.
Puppet Skip Actions. Trên hệ thống tay dẫn–tay theo, trong mỗi đoạn hành động, chính sách chỉ thực hiện một hành động rồi bỏ qua hành động kế tiếp, luân phiên như vậy.
Masking Aligns Data Collection and Deployment Hiệu quả của mặt nạ
Đối chiếu No Mask, Inpainting và Ours
We evaluate the efficacy of masking, which aligns the visual distribution of the policy between collection and deployment time. Table I details the results of our experimental trials comparing policies trained with masking, no masking, and on diffusion inpainted video. We note an increase in performance on most tasks with masking compared to simply training with hands included and inpainted video.
Chúng tôi đánh giá hiệu quả của mặt nạ trong việc đồng nhất phân bố hình ảnh mà chính sách gặp khi thu dữ liệu và triển khai. Bảng I trình bày thử nghiệm các chính sách học từ ảnh có mặt nạ, ảnh không che và video được điền nền bằng mô hình khuếch tán. Ở phần lớn nhiệm vụ, mặt nạ cải thiện hiệu năng so với huấn luyện với bàn tay còn trong ảnh hoặc với video đã điền nền.
The policies trained on inpainted video suffer significant performance losses compared to the base video. We hypothesize that this is due to two factors. First, as can be seen in Fig. 6, the shadows of the arms are still visible against the reflective surface of the table. Another factor is the noisy diffusing of frames due to lack of context. These visual artifacts not visible at test time may confuse the policy. Given a more controlled environment, this method’s performance may improve.
Các chính sách huấn luyện trên video điền nền suy giảm hiệu năng đáng kể so với video gốc. Chúng tôi giả thuyết có hai nguyên nhân. Thứ nhất, như Hình 6, bóng cánh tay vẫn xuất hiện trên mặt bàn phản chiếu. Thứ hai, quá trình khuếch tán tạo nhiễu giữa các khung hình do thiếu ngữ cảnh. Những giả ảnh không có khi kiểm tra này có thể làm chính sách nhầm lẫn. Trong một môi trường được kiểm soát tốt hơn, hiệu quả của phương pháp này có thể tăng lên.
TABLE I: Our masking improves performance. Our masking strategy almost uniformly beats non-masked and diffusion inpainted in policies, enabling tasks such as battery insertion.
Mặt nạ cải thiện hiệu năng. Tác giả cho rằng chiến lược mặt nạ hầu như luôn vượt chính sách không che và chính sách học từ video điền nền bằng khuếch tán, hỗ trợ các tác vụ như lắp pin.
Bảng I–III: các cột thành công tính theo %; Time tính theo giây. Có thể cuộn ngang từng bảng trên màn hình nhỏ. C&S, B&P giữ ký hiệu gốc.
| Method / Hạng mục | Grab · Nắm | Pull · Kéo | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| No Mask | 90 | 90 | 90 | 4.12 |
| Inpainting | 100 | 85 | 85 | 3.92 |
| Ours | 100 | 90 | 90 | 3.97 |
| Method / Hạng mục | Pick · Nhặt | Place · Đặt | Prepare · Chuẩn bị | Push · Ấn | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|---|---|
| No Mask | 95 | 95 | 85 | 75 | 75 | 6.44 |
| Inpainting | 95 | 95 | 70 | 65 | 65 | 5.65 |
| Ours | 100 | 100 | 90 | 85 | 85 | 5.70 |
| Method / Hạng mục | C&S | B&P | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| No Mask | 100 | 100 | 100 | 6.97 |
| Inpainting | 100 | 100 | 100 | 6.57 |
| Ours | 100 | 100 | 100 | 6.81 |
| Method / Hạng mục | Up · Gấp lên | Right · Gấp phải | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| No Mask | 100 | 90 | 90 | 6.19 |
| Inpainting | 100 | 80 | 80 | 6.20 |
| Ours | 100 | 100 | 100 | 5.94 |
Fig. 6: Masking Comparisons. We show the same initial starting frame of Battery Insertion. Our masking method completely aligns the visual distributions of training and test times. Inpainting via diffusion creates unwanted artifacts.
So sánh mặt nạ. Cùng khung hình ban đầu của nhiệm vụ lắp pin. Tác giả cho rằng mặt nạ đồng nhất hoàn toàn phân bố thị giác giữa huấn luyện và kiểm tra, còn điền nền bằng khuếch tán tạo giả ảnh không mong muốn.
Test-Time Smoothing Improves Performance Hiệu quả của làm trơn
Thành công cao hơn không luôn có nghĩa nhanh nhất
In Table II, we see performance comparisons between non-smoothed, test-time smoothed, and temporal ensembling-smoothed trajectories. In all tasks, test-time smoothing achieves the best performance, and by a wide margin in tasks Unstack Cups and Battery Insertion. The resulting instabilities in the high speed non-smoothed policy rollouts result in imprecise grasps and pushes, and while the temporal-ensembling smoothed policies have mixed results, their execution speeds drop in half dramatically from collection time. This is due to the increased processing time necessary to compute inference every timestep.
Bảng II so sánh các quỹ đạo không làm trơn, làm trơn tại thời điểm chạy và làm trơn bằng tổng hợp theo thời gian. Ở tất cả các nhiệm vụ, phương pháp đề xuất đạt hiệu năng tốt nhất; chênh lệch đặc biệt lớn ở tách cốc và lắp pin. Chính sách tốc độ cao không làm trơn bị mất ổn định, dẫn đến nắm và đẩy thiếu chính xác. Chính sách tổng hợp theo thời gian cho kết quả không đồng nhất, trong khi tốc độ thực thi giảm mạnh, chỉ còn khoảng một nửa tốc độ thu dữ liệu. Nguyên nhân được nêu là chi phí xử lý tăng do phải suy luận ở từng bước thời gian.
A failure mode of temporal ensembling is its tendency to choose an averaged path when forced to change course [3]. We hypothesize that, at higher speeds, the tracking of robot controllers often become less reliable which forces policies to react and frequently change course to adjust for error. Thus, even if temporal ensembling were run on faster hardware and had no inference delay, it would perform even more poorly at speed due to this phenomenon. This also partially explains the presence of discontinuities in the first place, even in relatively uni-modal data with little strategy-switching.
Một kiểu thất bại của tổng hợp theo thời gian là chọn đường đi trung bình khi cần đổi hướng [3]. Chúng tôi giả thuyết rằng ở tốc độ cao, khả năng bám của bộ điều khiển robot thường kém tin cậy hơn, buộc chính sách phải phản ứng và thường xuyên đổi hướng để sửa sai. Vì vậy, ngay cả nếu chạy tổng hợp theo thời gian trên phần cứng nhanh hơn và không còn trễ suy luận, nó vẫn có thể hoạt động tệ hơn nữa ở tốc độ cao do hiện tượng này. Cơ chế đó cũng giải thích một phần vì sao xuất hiện gián đoạn giữa các đoạn, ngay cả khi dữ liệu tương đối đơn đỉnh và ít đổi chiến lược.
TABLE II: Smoothing improves performance. Test time smoothing outperforms or matches other methods in success rate in every category.
Làm trơn cải thiện hiệu năng. Làm trơn tại thời điểm chạy vượt hoặc ngang các phương pháp khác về tỷ lệ thành công trong mọi hạng mục.
Bảng I–III: các cột thành công tính theo %; Time tính theo giây. Có thể cuộn ngang từng bảng trên màn hình nhỏ. C&S, B&P giữ ký hiệu gốc.
| Method / Hạng mục | Grab · Nắm | Pull · Kéo | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| No Smooth | 100 | 65 | 65 | 4.23 |
| TE | 95 | 35 | 35 | 7.75 |
| Ours | 100 | 90 | 90 | 3.97 |
| Method / Hạng mục | Pick · Nhặt | Place · Đặt | Prepare · Chuẩn bị | Push · Ấn | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|---|---|
| No Smooth | 100 | 85 | 75 | 75 | 75 | 5.29 |
| TE | 100 | 100 | 85 | 55 | 55 | 10.18 |
| Ours | 100 | 100 | 90 | 85 | 85 | 5.70 |
| Method / Hạng mục | C&S | B&P | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| No Smooth | 100 | 80 | 80 | 6.70 |
| TE | 100 | 100 | 100 | 12.23 |
| Ours | 100 | 100 | 100 | 6.81 |
| Method / Hạng mục | Up · Gấp lên | Right · Gấp phải | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| No Smooth | 95 | 80 | 80 | 6.16 |
| TE | 100 | 90 | 90 | 11.60 |
| Ours | 100 | 100 | 100 | 5.94 |
Speed Comparisons So sánh tốc độ
Thu mẫu nhanh hay tăng tốc chính sách từ dữ liệu chậm?
In this experiment, we investigate the effectiveness of training a policy on slow data, collected with puppeteering on an ALOHA 2 (setup in Appendix III). We artificially increase the policy execution speed in two different ways across three different tasks: Bus Table, Unstack Cups, and Battery Insertion. We are unable to complete the Toss & Catch task with puppeteering due to the difficulty of catching a dynamic object through teleoperation. The results are visible in Table III, where we see sharp drops in performance after speeding up data collected through puppeteering to match the speed of ours. Refer to Appendix IV for chunk boundary jump details.
Trong thí nghiệm này, chúng tôi xem xét hiệu quả của chính sách học từ dữ liệu chậm, được thu bằng tay dẫn–tay theo trên ALOHA 2 (cấu hình ở Phụ lục III). Chúng tôi chủ động tăng tốc thực thi theo hai cách trên ba nhiệm vụ: dọn bàn, tách cốc và lắp pin. Không thể hoàn thành nhiệm vụ tung–bắt bóng bằng cách làm mẫu này vì điều khiển từ xa để bắt vật đang chuyển động quá khó. Bảng III cho thấy hiệu năng giảm mạnh khi tăng tốc dữ liệu tay dẫn để tiến gần tốc độ hệ thống đề xuất. Phụ lục IV trình bày chi tiết bước nhảy tại ranh giới đoạn.
Puppet Double Freq simply doubles the controller frequency at execution time. This results in policies that appear out of control, with large jumps at chunk boundaries. With actions that jump larger distances, such as in Bus Table, this effect becomes more noticeable. Despite still moving slower than our method, double-timed policies from puppeteering have significantly larger discontinuities than in our method. We hypothesize that these discontinuities lead to deviations between collection and test time, further worsening performance.
Puppet Double Freq chỉ tăng gấp đôi tần số bộ điều khiển khi thực thi. Các chính sách khi đó có vẻ mất kiểm soát, với bước nhảy lớn ở ranh giới đoạn. Ảnh hưởng rõ hơn ở những hành động có quãng dịch chuyển lớn như dọn bàn. Dù vẫn chậm hơn phương pháp đề xuất, chính sách tay dẫn chạy gấp đôi nhịp có gián đoạn lớn hơn đáng kể. Chúng tôi giả thuyết các gián đoạn này làm tăng sai khác giữa thu dữ liệu và kiểm tra, từ đó tiếp tục giảm hiệu năng.
Puppet Skip Actions is running the controller frequency at the same rate, but skipping every other action. This method introduces less discontinuity, but creates new failure modes such as oscillating above the battery instead of pushing it in, and missing grasps. This is due to the policy oftentimes skipping critical steps, which also reduces overall performance.
Puppet Skip Actions giữ nguyên tần số bộ điều khiển nhưng bỏ qua mỗi hành động xen kẽ. Cách này tạo ít gián đoạn hơn, song xuất hiện kiểu lỗi mới như dao động phía trên pin thay vì ấn pin vào, hoặc nắm hụt. Do chính sách thường bỏ qua những bước then chốt, hiệu năng chung cũng giảm.
TABLE III: Speed Comparisons. We note a sharp drop in performance on precise tasks when applying either speed-up approach.
So sánh tốc độ. Hiệu năng ở các nhiệm vụ cần độ chính xác giảm mạnh khi áp dụng một trong hai cách tăng tốc.
Bảng I–III: các cột thành công tính theo %; Time tính theo giây. Có thể cuộn ngang từng bảng trên màn hình nhỏ. C&S, B&P giữ ký hiệu gốc.
| Method / Hạng mục | Grab · Nắm | Pull · Kéo | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| Puppeteering | 85 | 75 | 75 | 8.84 |
| Puppet Double Freq | 80 | 65 | 65 | 5.47 |
| Puppet Skip Actions | 85 | 50 | 50 | 5.58 |
| Ours | 100 | 90 | 90 | 3.97 |
| Method / Hạng mục | Pick · Nhặt | Place · Đặt | Prep · Chuẩn bị | Push · Ấn | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|---|---|
| Puppeteering | 100 | 90 | 60 | 55 | 55 | 17.87 |
| Puppet Double Freq | 80 | 65 | 35 | 15 | 15 | 12.90 |
| Puppet Skip Actions | 95 | 95 | 55 | 30 | 30 | 10.30 |
| Ours | 100 | 100 | 90 | 85 | 85 | 5.70 |
| Method / Hạng mục | C&S | B&P | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| Puppeteering | 100 | 90 | 90 | 16.05 |
| Puppet Double Freq | 95 | 85 | 85 | 9.30 |
| Puppet Skip Actions | 95 | 85 | 85 | 9.29 |
| Ours | 100 | 100 | 100 | 6.81 |
| Method / Hạng mục | Pick & Toss · Nhặt và tung | Catch · Bắt | Whole · Toàn bộ | Time · Giây |
|---|---|---|---|---|
| Puppeteering | — | — | — | — |
| Puppet Double Freq | — | — | — | — |
| Puppet Skip Actions | — | — | — | — |
| Ours | 100 | 80 | 80 | 1.85 |
User Study Nghiên cứu người dùng
Bảy người mới và nhiệm vụ lắp pin
We conduct a user study with seven volunteers with little to no teleoperation experience, having them operate our setup and puppeteering. For the study, we choose Battery Insertion, a task requiring precision.
Chúng tôi tiến hành nghiên cứu với bảy tình nguyện viên có ít hoặc chưa có kinh nghiệm điều khiển từ xa. Họ sử dụng cả hệ thống đề xuất lẫn hệ thống tay dẫn–tay theo. Nhiệm vụ được chọn là lắp pin, một thao tác đòi hỏi độ chính xác.
In the study, in both setups, users spend three minutes familiarizing themselves with the objects in the scene and the robotic arms. Next, they are shown an expert demonstration and given basic tips on operation procedures. Finally, they are timed in ten trials, attempting to insert the battery into the remote as quickly as possible.
Trong cả hai cấu hình, người dùng dành ba phút làm quen với vật thể trong cảnh và các tay robot. Sau đó, họ xem một lượt làm mẫu của chuyên gia và nhận hướng dẫn vận hành cơ bản. Cuối cùng, họ thực hiện mười lượt được bấm giờ, cố gắng lắp pin vào điều khiển nhanh nhất có thể.
We observe in Fig. 7 an ability for users to quickly learn how to operate with our hardware and at speeds up to three times as fast as puppeteering. This primarily results from the operator sitting closer to the environment, giving more direct visual feedback, and haptic sensations from operating the actual robot arms. This results in more natural data collection, even for beginners.
Hình 7 cho thấy người dùng có thể nhanh chóng học cách vận hành phần cứng đề xuất, với tốc độ có lúc nhanh gấp ba hệ thống tay dẫn–tay theo. Điều này chủ yếu được lý giải bằng việc người vận hành ngồi gần môi trường hơn, nhận phản hồi thị giác trực tiếp hơn và cảm giác tiếp xúc từ chính tay máy đang làm việc. Nhờ vậy, quá trình thu dữ liệu tự nhiên hơn, kể cả với người mới.
Fig. 7: User Study. Results on Battery Insertion for timing operators on both Ours and Puppeteering demonstrate a 50%+ gap in duration for both experienced and new operators.
Nghiên cứu người dùng. Thời gian lắp pin trên hệ thống đề xuất và tay dẫn cho thấy chênh lệch thời lượng trên 50% ở cả người có kinh nghiệm và người mới.
Conclusion Kết luận
Đóng góp hệ thống và giới hạn cảm nhận
In this paper, we present Flash ALOHA, a full-stack system for learning fast and precise manipulation. Our system presents a hardware setup for collecting high-speed demonstration, and a learning pipeline for smooth autonomous execution of fast and precise movements. Currently, the masking strategy that we use in the paper over-conservatively masks regions near human hands and arms, erasing potentially useful visual cues near human hands in the image space. Additionally, the whole system incorporates vision and proprioception as only two modalities, preventing the system from learning dexterous manipulation requiring contact-rich perception and control. In the future we would like to research adaptive masking strategies and including tactile sensing for better performance.
Bài báo giới thiệu Flash ALOHA, một hệ thống hoàn chỉnh để học thao tác vừa nhanh vừa chính xác, gồm phần cứng thu dữ liệu mẫu tốc độ cao và quy trình học giúp thực thi tự hành các chuyển động nhanh, chính xác một cách êm. Hiện tại, chiến lược mặt nạ che khá dư vùng gần bàn tay và cánh tay người, làm mất cả những dấu hiệu thị giác có thể hữu ích quanh tay. Ngoài ra, hệ thống chỉ có hai phương thức cảm nhận là thị giác và tự cảm nhận trạng thái, nên chưa thể học những thao tác khéo léo đòi hỏi cảm nhận và điều khiển giàu tiếp xúc. Trong tương lai, chúng tôi muốn nghiên cứu mặt nạ thích nghi và tích hợp cảm biến xúc giác để cải thiện hiệu năng.
Acknowledgments Lời cảm ơn
Đóng góp, tài trợ và hỗ trợ phần cứng
We’d like to thank Ajay Sridhar, Yanjiang Guo, Brian Kim, Lars Ankile, Marcel Torne, Aneesh Muppidi, Ke Wang, Yuejiang Liu, Emily Jin, and Moo Jin Kim for helpful insights, discussions, and help filming. This work was supported by the Robotics and AI Institute. Zipeng Fu was supported by Pierre and Christine Lamond Fellowship. We appreciate the help from HESSIAN and ARX.
Chúng tôi cảm ơn Ajay Sridhar, Yanjiang Guo, Brian Kim, Lars Ankile, Marcel Torne, Aneesh Muppidi, Ke Wang, Yuejiang Liu, Emily Jin và Moo Jin Kim vì những trao đổi, nhận xét hữu ích và hỗ trợ quay phim. Công trình được Robotics and AI Institute tài trợ. Zipeng Fu nhận hỗ trợ từ học bổng Pierre and Christine Lamond. Chúng tôi trân trọng sự giúp đỡ từ HESSIAN và ARX.
Tracking Error During Policy Rollouts Phụ lục I · Sai số bám
Phân biệt sai số đo và sai số thực thi
Fig. 9 extends Fig. 2a with the commanded vs. achieved end-effector error of our arms during policy rollouts of each task. Fig. 10 shows the visual-inertial tracking setup.
Hình 9 mở rộng Hình 2a bằng sai số giữa vị trí đầu công tác được ra lệnh và vị trí thực đạt trên các tay máy khi chạy chính sách cho từng nhiệm vụ. Hình 10 trình bày cấu hình thí nghiệm theo dõi thị giác–quán tính.
Fig. 9: Tracking Error During Policy Rollouts. Average position error in 1 s windows, binned by end-effector speed (shaded: 95% bootstrap CI). Black: a handheld visual-inertial tracker mounted on the robot wrist, against encoder ground truth. Colored: commanded vs. achieved end-effector position on our arms, during a tracking-test replay and policy rollouts of each task. Visual-inertial error grows quickly with speed and exceeds the robot’s own tracking error at every speed it was tested.
Sai số bám khi chạy chính sách. Sai số vị trí trung bình theo cửa sổ 1 giây, chia nhóm tốc độ đầu công tác; vùng tô là khoảng tin cậy bootstrap 95%. Đen: tracker thị giác–quán tính ở cổ tay so với chuẩn encoder. Các màu khác: vị trí lệnh so với vị trí thực của tay máy trong phát lại và khi chạy từng chính sách. Theo dõi thị giác–quán tính có sai số tăng nhanh theo tốc độ và cao hơn sai số bám robot ở mọi tốc độ tracker được thử.
Visual-Inertial Tracking Experiment Phụ lục II · Thí nghiệm tracker
Thiết bị, căn chỉnh, thống kê và dữ liệu bị loại
Hardware. We mount an iPhone 15 Pro running the iPhUMI app on the wrist of a 6-DoF Seeed Studio reBot B601-RS arm with RobStride actuators, replacing the arm’s last link with the iPhUMI phone holder and hollow gripper fingers (Fig. 10). iPhUMI records the phone camera’s ARKit visual-inertial pose at about 60 Hz. It cannot stream poses live, so each recording is exported from the phone and aligned with the robot data offline. The phone stays seated in the holder throughout, and the transform X from the end effector to the phone camera is taken from the holder’s CAD model.
Phần cứng. Chúng tôi gắn iPhone 15 Pro chạy iPhUMI lên cổ tay của robot sáu bậc tự do Seeed Studio reBot B601-RS dùng bộ truyền động RobStride; khâu cuối được thay bằng giá điện thoại iPhUMI và ngón kẹp rỗng (Hình 10). iPhUMI ghi tư thế thị giác–quán tính ARKit của camera điện thoại ở khoảng 60 Hz. Ứng dụng không truyền tư thế trực tiếp, nên từng bản ghi được xuất từ điện thoại rồi căn chỉnh ngoại tuyến với dữ liệu robot. Điện thoại luôn nằm cố định trong giá; biến đổi X từ đầu công tác tới camera được lấy từ mô hình CAD của giá đỡ.
Ground truth. The arm records its joint encoders, and forward kinematics gives the end-effector pose Ai at each sample. ARKit’s world frame is gravity-aligned, but its origin and heading are set wherever tracking starts, so it differs between recordings. For each take we fit one rigid transform Y from the ARKit world frame to the robot base by least squares over the whole take, and compare Ai with the tracker’s estimate of the end-effector pose Âi = Y Bi X−1, where Bi is the ARKit camera pose.
Chuẩn tham chiếu. Tay máy ghi số đo encoder khớp, rồi động học thuận cho tư thế đầu công tác Ai ở mỗi mẫu. Hệ tọa độ thế giới của ARKit thẳng theo trọng lực, nhưng gốc và hướng được đặt tại vị trí bắt đầu theo dõi nên khác nhau giữa các bản ghi. Với mỗi bản ghi, chúng tôi khớp một phép biến đổi cứng Y từ hệ thế giới ARKit sang hệ gốc robot bằng bình phương tối thiểu trên toàn bộ bản ghi. Sau đó so sánh Ai với tư thế đầu công tác do tracker ước lượng: Âi = Y Bi X−1, trong đó Bi là tư thế camera ARKit.
Time alignment. The host and the phone are NTP-synchronized, and robot timestamps are mapped to Unix time through clock anchors recorded during each session. The remaining offset between the two streams, including pose latency, is found per take by cross-correlating the end effector’s angular speed from both sources, which does not depend on X or Y ; the peak correlation is at least 0.97 for every take. Tracker poses are then interpolated to the robot samples (linearly in position, spherically in rotation), and robot samples that fall in a gap of the tracker log are excluded rather than bridged.
Căn chỉnh thời gian. Máy chủ và điện thoại được đồng bộ NTP; mốc đồng hồ ghi trong từng phiên dùng để ánh xạ thời gian robot sang Unix. Độ lệch còn lại giữa hai luồng, kể cả độ trễ tư thế, được tìm riêng cho từng bản ghi bằng tương quan chéo vận tốc góc của đầu công tác từ hai nguồn; đại lượng này không phụ thuộc X hoặc Y. Tương quan cực đại đạt ít nhất 0,97 ở mọi bản ghi. Sau đó tư thế tracker được nội suy tới thời điểm lấy mẫu robot—tuyến tính với vị trí, nội suy cầu với quay. Các mẫu robot rơi vào khoảng trống của nhật ký tracker bị loại, không được nội suy bắc cầu.
Trajectories. An operator hand-guides the arm through four trajectories at 100 Hz while the phone records: a general motion, a free-space motion, a high-frequency motion and a motion with contact. The arm then replays each trajectory from its recorded joint positions at 0.25×, 0.5×, 0.75× and 1× speed, again with the phone recording. Including the hand-guided recordings, this gives 48 takes and 1,269 one-second windows, with end-effector speeds up to 1.2 m/s.
Quỹ đạo. Người vận hành dẫn tay máy qua bốn loại quỹ đạo ở 100 Hz trong khi điện thoại ghi: chuyển động tổng quát, chuyển động tự do trong không gian, chuyển động tần số cao và chuyển động có tiếp xúc. Sau đó, tay máy phát lại từng quỹ đạo từ vị trí khớp đã ghi ở các mức tốc độ 0,25×, 0,5×, 0,75× và 1×, đồng thời điện thoại tiếp tục ghi. Tính cả các lượt dẫn trực tiếp, tập thí nghiệm gồm 48 bản ghi và 1.269 cửa sổ dài một giây, với tốc độ đầu công tác lên tới 1,2 m/s.
Error metric. Each take is split into 1 s windows, and each window reports its top end-effector speed and the average end-effector position error. Windows with missing tracker samples are excluded. The curves in Fig. 2a and Fig. 9 are the mean over ten equal-count speed bins, with 95% bootstrap confidence intervals. For the robot’s own tracking error during the replays, we compare the commanded and achieved end-effector positions after removing one constant time lag per take, chosen to minimize the RMS error.
Thước đo sai số. Mỗi bản ghi được chia thành cửa sổ một giây; mỗi cửa sổ báo cáo tốc độ đầu công tác lớn nhất và sai số vị trí trung bình. Những cửa sổ thiếu mẫu tracker bị loại. Đường cong Hình 2a và Hình 9 là trung bình trong mười nhóm tốc độ có số mẫu bằng nhau, kèm khoảng tin cậy bootstrap 95%. Với sai số bám của chính robot khi phát lại, chúng tôi so sánh vị trí đầu công tác được lệnh và vị trí đạt được sau khi loại một độ trễ thời gian cố định riêng cho từng bản ghi, chọn để cực tiểu hóa sai số RMS.
Recording Failures. On the 1× speed takes for each trajectory, SLAM failures are rejected where the end effector is detected moving at more than 7.0 m/s by the iPhUMI kit. Due to this, each take at 1× speed on average took 3-4 tries to record without failure, making it impractical to test iPhUMI tracking on even faster trajectories.
Lỗi ghi nhận. Với các lượt chạy 1× của từng quỹ đạo, chúng tôi loại những bản ghi SLAM thất bại khi bộ iPhUMI phát hiện tốc độ đầu công tác vượt 7,0 m/s. Vì vậy, trung bình mỗi bản ghi ở 1× cần thử ba đến bốn lần mới có một lượt không lỗi. Điều này khiến việc thử iPhUMI ở các quỹ đạo còn nhanh hơn trở nên không thực tiễn.
Fig. 10: Visual-Inertial Setup. We add features beneficial to visual-inertial tracking, including a patterned tablecloth, bright lighting, 3-dimensional objects, and background clutter for maximum tracking performance.
Cấu hình thị giác–quán tính. Thí nghiệm bổ sung khăn bàn có họa tiết, ánh sáng mạnh, vật thể ba chiều và hậu cảnh nhiều chi tiết để hỗ trợ chất lượng theo dõi tối đa.
Puppeteering Baseline Setup Phụ lục III · Baseline tay dẫn
Cấu hình ALOHA 2 và các can thiệp tăng tốc
Data collection. For the puppeteering comparisons in Table III, an operator collects demonstrations by teleoperating an ALOHA 2 with its leader arms. Each task has 50 demonstrations recorded at 50 Hz, with joint positions of both arms and grippers (14 dimensions) and images from a top camera and two wrist cameras at 640 × 480. Table IV lists the datasets.
Thu dữ liệu. Trong các so sánh tay dẫn ở Bảng III, người vận hành dùng tay dẫn của ALOHA 2 để điều khiển và làm mẫu. Mỗi nhiệm vụ có 50 lượt mẫu ghi ở 50 Hz, gồm vị trí khớp của hai tay và bộ kẹp (14 chiều), cùng ảnh từ một camera trên cao và hai camera cổ tay ở độ phân giải 640 × 480. Bảng IV liệt kê các tập dữ liệu.
Policy. We train one ACT policy per task with the same architecture as ours (Table VI): ResNet-18 image backbone, no CVAE encoder, hidden dimension 512, feedforward dimension 3200, 4 encoder and 7 decoder layers with 8 heads, and a chunk size of 50 actions (1 s at 50 Hz). Policies take the three images at 320 × 180 and the joint positions, and are trained with batch size 256, learning rate 2×10−4, backbone learning rate 10−5 and data augmentation.
Chính sách. Mỗi nhiệm vụ được huấn luyện một chính sách ACT với cùng kiến trúc như hệ thống đề xuất (Bảng VI): backbone ảnh ResNet-18, không có bộ mã hóa CVAE, chiều ẩn 512, chiều mạng truyền thẳng 3.200, bốn lớp mã hóa, bảy lớp giải mã, tám đầu chú ý và đoạn 50 hành động (một giây ở 50 Hz). Chính sách nhận ba ảnh 320 × 180 và vị trí khớp, được huấn luyện với batch size 256, tốc độ học 2 × 10⁻⁴, tốc độ học backbone 10⁻⁵ và tăng cường dữ liệu.
Deployment. Puppeteering executes each chunk at the 50 Hz collection rate and queries a new chunk every 1 s. Puppet Double Freq executes the same chunks at 100 Hz and queries every 0.5 s. Puppet Skip Actions keeps the 50 Hz controller but executes every other action of each chunk, also querying every 0.5 s. Both sped-up variants therefore traverse each chunk in half the time of the collected data.
Triển khai. Puppeteering thực hiện mỗi đoạn ở tần số thu mẫu 50 Hz và yêu cầu đoạn mới mỗi một giây. Puppet Double Freq thực hiện cùng các đoạn ở 100 Hz, yêu cầu đoạn mới mỗi 0,5 giây. Puppet Skip Actions giữ bộ điều khiển 50 Hz nhưng chỉ thực thi mỗi hành động xen kẽ trong đoạn, cũng yêu cầu đoạn mới mỗi 0,5 giây. Vì vậy, cả hai biến thể tăng tốc đều đi qua một đoạn trong một nửa thời gian của dữ liệu gốc.
TABLE IV: Puppeteering Data. ALOHA 2 teleoperation datasets used for the puppeteering baselines, recorded at 50 Hz; Length is the recorded episode length.
Dữ liệu tay dẫn. Các tập dữ liệu điều khiển từ xa ALOHA 2 cho baseline, ghi ở 50 Hz; Length là độ dài episode đã ghi.
Bảng I–III: các cột thành công tính theo %; Time tính theo giây. Có thể cuộn ngang từng bảng trên màn hình nhỏ. C&S, B&P giữ ký hiệu gốc.
| Method / Hạng mục | Demos · Số mẫu | Length · Giây | Training steps · Bước |
|---|---|---|---|
| Unstack Cups | 50 | 12 s | 200k |
| Battery Insertion | 50 | 20 s | 200k |
| Bus Table | 50 | 18 s | 200k |
Chunk Boundary Jumps Phụ lục IV · Bước nhảy lệnh
Chỉ dấu định lượng của sự gián đoạn
Fig. 8 measures the discontinuities between action chunks in the speed comparisons of Table III. At each policy update, we take the change in commanded joint positions between the last action of the previous chunk and the first action of the new one, as the Euclidean norm over the 12 arm joints (grippers excluded). Each rollout contributes the average jump over its chunk boundaries, and every rollout is included, failures as well. Doubling the controller frequency makes the jumps about 3–3.5× those of puppeteering, while skipping every other action makes them 1.5–2×.
Hình 8 đo sự gián đoạn giữa các đoạn hành động trong so sánh tốc độ của Bảng III. Ở mỗi lần cập nhật chính sách, chúng tôi tính thay đổi vị trí khớp được lệnh giữa hành động cuối đoạn trước và hành động đầu đoạn mới bằng chuẩn Euclid trên 12 khớp tay máy, không tính bộ kẹp. Mỗi lượt chạy đóng góp bước nhảy trung bình qua các ranh giới đoạn của nó; tất cả lượt chạy đều được tính, kể cả thất bại. Tăng gấp đôi tần số làm bước nhảy lớn khoảng 3–3,5 lần so với puppeteering, còn bỏ hành động xen kẽ làm tăng khoảng 1,5–2 lần.
Fig. 8: Average Chunk Boundary Jump. Average change in commanded joint positions at chunk boundaries for Puppeteering (Puppet), Puppet Double Freq (Double) and Puppet Skip Actions (Skip). Bars: mean over 20 rollouts per condition (19 for Puppeteering on Bus Table)
Bước nhảy trung bình tại ranh giới đoạn. Thay đổi vị trí khớp lệnh cho Puppeteering (Puppet), Puppet Double Freq (Double) và Puppet Skip Actions (Skip). Cột biểu diễn trung bình trên 20 lượt mỗi điều kiện, riêng Puppeteering/dọn bàn có 19 lượt.
Policy Training Details Phụ lục V · Huấn luyện
Dữ liệu, kiến trúc ACT và điều kiện tái lập
We train ACT [1] policies on the demonstrations. Table V lists the datasets and Table VI the ACT configuration. Images are recorded at 360 × 640 and downsampled to 180 × 320 for the policy, and training augments them with random crops covering 95% of each side, resized back to the input resolution. Policies predict absolute joint positions and gripper commands, are conditioned on joint positions only (no velocities), and are trained with seed 0 on a single GPU (NVIDIA L40S, A40 or RTX 4090), holding out 1% of the episodes for validation.
Chúng tôi huấn luyện chính sách ACT [1] trên các lượt làm mẫu. Bảng V liệt kê dữ liệu và Bảng VI trình bày cấu hình ACT. Ảnh được ghi ở 360 × 640 rồi giảm xuống 180 × 320 cho chính sách. Tăng cường dữ liệu dùng cắt ngẫu nhiên giữ 95% mỗi chiều rồi đổi về kích thước đầu vào. Chính sách dự đoán vị trí khớp tuyệt đối và lệnh bộ kẹp, chỉ điều kiện hóa theo vị trí khớp, không dùng vận tốc. Huấn luyện dùng seed 0 trên một GPU NVIDIA L40S, A40 hoặc RTX 4090; 1% số episode được giữ lại để kiểm định.
TABLE V: Training Data. Demonstrations per task, recorded by kinesthetic teaching. L and R are the wrist cameras; Length is the task duration. Toss & Catch records the tossing arm at 100 Hz and the catching arm at 200 Hz.
Dữ liệu huấn luyện. Các lượt mẫu theo nhiệm vụ được ghi bằng dẫn động trực tiếp. L và R là camera cổ tay; Length là thời lượng nhiệm vụ. Với tung–bắt bóng, tay tung ghi ở 100 Hz còn tay bắt ở 200 Hz.
Bảng I–III: các cột thành công tính theo %; Time tính theo giây. Có thể cuộn ngang từng bảng trên màn hình nhỏ. C&S, B&P giữ ký hiệu gốc.
| Method / Hạng mục | Arms · Tay máy | Cameras · Camera | Rate · Tần số | Demos · Số mẫu | Length · Giây |
|---|---|---|---|---|---|
| Unstack Cups | ARX, 2 | L, R, Top | 50 Hz | 50 | 4 s |
| Battery Insertion | ARX, 2 | L, R, Top | 50 Hz | 50 | 7 s |
| Bus Table | ARX, 2 | L, R, Top | 50 Hz | 50 | 6 s |
| Fold Shorts | ARX, 2 | L, R, Top | 50 Hz | 50 | 5 s |
| Toss & Catch | HESSIAN, 2 | L, R, Top | 100/200 Hz | 50 | 2 s |
TABLE VI: ACT Configuration.
Cấu hình ACT.
Bảng I–III: các cột thành công tính theo %; Time tính theo giây. Có thể cuộn ngang từng bảng trên màn hình nhỏ. C&S, B&P giữ ký hiệu gốc.
| Method / Hạng mục | Value · Giá trị |
|---|---|
| Policy · Chính sách | ACT, no CVAE encoder |
| Image backbone | ResNet-18 |
| Hidden / feedforward dim. | 512 / 3200 |
| Encoder / decoder layers | 4 / 7 |
| Attention heads | 8 |
| Chunk size | 50 |
| Batch size | 256 |
| Learning rate | 2 × 10⁻⁴ |
| Optimizer | AdamW, weight decay 10⁻⁴ |
| Training steps | 200k |
References Tài liệu tham khảo
Giữ đủ 59 mục theo PDF; dịch tên công trình để hỗ trợ đọc, không thay đổi thông tin xuất bản.
Các chú giải dưới đây chỉ xác định vai trò trích dẫn trong Flash ALOHA, không phải thẩm định độc lập 59 công trình. Tên riêng, tên hội nghị, số arXiv và năm được giữ theo bản gốc; danh mục nguồn chưa được đối chiếu ngoài PDF.
[1] T. Z. Zhao, V. Kumar, S. Levine, and C. Finn, “Learning fine-grained bimanual manipulation with low-cost hardware,” RSS, 2023.
Học thao tác hai tay tinh vi bằng phần cứng chi phí thấp
[2] Z. Fu, T. Z. Zhao, and C. Finn, “Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation,” in CoRL, 2024.
Mobile ALOHA: học thao tác di động hai tay bằng điều khiển từ xa toàn thân chi phí thấp
[3] K. Black, M. Y. Galliker, and S. Levine, “Real-time execution of action chunking flow policies,” arXiv preprint arXiv:2506.07339, 2025.
Thực thi thời gian thực các chính sách luồng phân đoạn hành động
[4] Y. Zhu, J. Wong, A. Mandlekar, and R. Mart´ın-Mart´ın, “robosuite: A modular simulation framework and benchmark for robot learning,” arXiv preprint arXiv:2009.12293, 2020.
robosuite: khung mô phỏng mô-đun và bộ chuẩn đánh giá cho học robot
[5] T. Zhang, Z. McCarthy, O. Jow, D. Lee, X. Chen, K. Goldberg, and P. Abbeel, “Deep imitation learning for complex manipulation tasks from virtual reality teleoperation,” in 2018 ICRA, 2018.
Học bắt chước sâu cho thao tác phức tạp từ điều khiển từ xa thực tế ảo
[6] C. Chi, Z. Xu, C. Pan, E. Cousineau, B. Burchfiel, S. Feng, R. Tedrake, and S. Song, “Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots,” in Proceedings of Robotics: Science and Systems (RSS), 2024.
Giao diện thao tác phổ quát: dạy robot ngoài thực địa mà không cần robot ngoài thực địa
[7] A. Billard, S. Calinon, R. Dillmann, and S. Schaal, “Robot programming by demonstration,” in Springer handbook of robotics. Springer, 2008, pp. 1371–1394.
Lập trình robot bằng làm mẫu
[8] S. Kareer, D. Patel, R. Punamiya, P. Mathur, S. Cheng, C. Wang, J. Hoffman, and D. Xu, “Egomimic: Scaling imitation learning via egocentric video,” in 2025 ICRA, 2025.
EgoMimic: mở rộng học bắt chước qua video góc nhìn thứ nhất
[9] M. Lepert, J. Fang, and J. Bohg, “Phantom: Training robots without robots using only human videos,” arXiv preprint arXiv:2503.00779, 2025.
Phantom: huấn luyện robot mà không cần robot, chỉ dùng video con người
[10] L. Y. Zhu, P. Kuppili, R. Punamiya, P. Aphiwetsa, D. Patel, S. Kareer, S. Ha, and D. Xu, “Emma: Scaling mobile manipulation via egocentric human data,” arXiv preprint arXiv:2509.04443, 2025.
EMMA: mở rộng thao tác di động bằng dữ liệu con người góc nhìn thứ nhất
[11] H. Xiong, R. Mendonca, K. Shaw, and D. Pathak, “Adaptive mobile manipulation for articulated objects in the open world,” arXiv preprint arXiv:2401.14403, 2024.
Thao tác di động thích nghi với vật thể có khớp trong thế giới mở
[12] Y. Zhu, A. Joshi, P. Stone, and Y. Zhu, “Viola: Imitation learning for vision-based manipulation with object proposal priors,” in CoRL. PMLR, 2023, pp. 1199–1210.
VIOLA: học bắt chước cho thao tác dựa trên thị giác với tiên nghiệm đề xuất vật thể
[13] S. Ross, N. Melik-Barkhudarov, K. S. Shankar, A. Wendel, D. Dey, J. A. Bagnell, and M. Hebert, “Learning monocular reactive uav control in cluttered natural environments,” in 2013 ICRA, 2013.
Học điều khiển phản ứng từ một camera cho UAV trong môi trường lộn xộn
[14] A. Mandlekar, Y. Zhu, A. Garg, J. Booher, M. Spero, A. Tung, J. Gao, J. Emmons, A. Gupta, E. Orbay et al., “Roboturk: A crowdsourcing platform for robotic skill learning through imitation,” in CoRL. PMLR, 2018, pp. 879–893.
RoboTurk: nền tảng huy động cộng đồng cho học kỹ năng robot qua bắt chước
[15] X. Cheng, J. Li, S. Yang, G. Yang, and X. Wang, “Open-television: Teleoperation with immersive active visual feedback,” arXiv preprint arXiv:2407.01512, 2024.
Open-TeleVision: điều khiển từ xa với phản hồi thị giác chủ động nhập vai
[16] Y. Park, J. S. Bhatia, L. Ankile, and P. Agrawal, “Dexhub and dart: Towards internet scale robot data collection,” arXiv preprint arXiv:2411.02214, 2024.
DexHub và DART: hướng tới thu dữ liệu robot ở quy mô Internet
[17] M. Seo, S. Han, K. Sim, S. H. Bang, C. Gonzalez, L. Sentis, and Y. Zhu, “Deep imitation learning for humanoid loco-manipulation through human teleoperation,” in 2023 Humanoids, 2023.
Học bắt chước sâu cho di chuyển–thao tác của robot hình người qua điều khiển từ xa
[18] A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox, “Dexpilot: Vision-based teleoperation of dexterous robotic hand-arm system,” in 2020 ICRA, 2020.
DexPilot: điều khiển từ xa hệ tay–cánh tay khéo léo dựa trên thị giác
[19] A. Sivakumar, K. Shaw, and D. Pathak, “Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube,” arXiv preprint arXiv:2202.10448, 2022.
Điều khiển từ xa bằng thị giác: học tay robot bắt chước bằng cách xem người trên YouTube
[20] Z. Fu, Q. Zhao, Q. Wu, G. Wetzstein, and C. Finn, “Humanplus: Humanoid shadowing and imitation from humans,” in CoRL, 2024.
HumanPlus: bám theo và bắt chước con người bằng robot hình người
[21] T. He, Z. Luo, W. Xiao, C. Zhang, K. Kitani, C. Liu, and G. Shi, “Learning human-to-humanoid real-time whole-body teleoperation,” arXiv preprint arXiv:2403.04436, 2024.
Học điều khiển từ xa toàn thân thời gian thực từ người sang robot hình người
[22] H. Fang, H.-S. Fang, Y. Wang, J. Ren, J. Chen, R. Zhang, W. Wang, and C. Lu, “Airexo: Low-cost exoskeletons for learning whole-arm manipulation in the wild,” in 2024 ICRA, 2024.
AirExo: bộ khung ngoài chi phí thấp để học thao tác toàn cánh tay ngoài thực địa
[23] A. Purushottam, C. Xu, Y. Jung, and J. Ramos, “Dynamic mobile manipulation via whole-body bilateral teleoperation of a wheeled humanoid,” IEEE Robotics and Automation Letters, 2023.
Thao tác di động động bằng điều khiển từ xa hai chiều toàn thân robot hình người có bánh xe
[24] C. Wang, H. Shi, W. Wang, R. Zhang, L. Fei-Fei, and C. K. Liu, “Dexcap: Scalable and portable mocap data collection system for dexterous manipulation,” arXiv preprint arXiv:2403.07788, 2024.
DexCap: hệ ghi chuyển động mở rộng và di động cho thu dữ liệu thao tác khéo léo
[25] H. Etukuru, N. Naka, Z. Hu, S. Lee, J. Mehu, A. Edsinger, C. Paxton, S. Chintala, L. Pinto, and N. M. M. Shafiullah, “Robot utility models: General policies for zero-shot deployment in new environments,” in 2025 ICRA, 2025.
Mô hình tiện ích robot: chính sách tổng quát triển khai zero-shot trong môi trường mới
[26] R. Jenness and C. Wicker, “Master–slave manipulators and remote maintenance at the oak ridge national laboratory,” Oak Ridge National Lab., Tenn.(USA), Tech. Rep., 1975.
Bộ thao tác chủ–tớ và bảo trì từ xa tại Phòng thí nghiệm Quốc gia Oak Ridge
[27] P. Wu, Y. Shentu, Z. Yi, X. Lin, and P. Abbeel, “Gello: A general, low-cost, and intuitive teleoperation framework for robot manipulators,” in 2024 IROS, 2024.
GELLO: khung điều khiển từ xa tổng quát, chi phí thấp và trực quan cho tay máy
[28] T. Buamanee, M. Kobayashi, Y. Uranishi, and H. Takemura, “Bi-act: Bilateral control-based imitation learning via action chunking with transformer,” in 2024 AIM, 2024.
Bi-ACT: học bắt chước dựa trên điều khiển song phương qua phân đoạn hành động với Transformer
[29] H. Ito, K. Yamamoto, H. Mori, and T. Ogata, “Efficient multitask learning with an embodied predictive model for door opening and entry with whole-body control,” Science Robotics, 2022.
Học đa nhiệm hiệu quả bằng mô hình dự đoán hiện thân cho mở cửa và đi vào với điều khiển toàn thân
[30] Y. Jiang, R. Zhang, J. Wong, C. Wang, Y. Ze, H. Yin, C. Gokmen, S. Song, J. Wu, and L. Fei-Fei, “Behavior robot suite: Streamlining real-world whole-body manipulation for everyday household activities,” arXiv preprint arXiv:2503.05652, 2025.
BEHAVIOR Robot Suite: đơn giản hóa thao tác toàn thân thực tế cho hoạt động gia đình
[31] C. Finn, S. Levine, and P. Abbeel, “Guided cost learning: Deep inverse optimal control via policy optimization,” in International conference on machine learning, 2016.
Học chi phí có hướng dẫn: điều khiển tối ưu ngược sâu qua tối ưu chính sách
[32] A. Xie, F. Ebert, S. Levine, and C. Finn, “Improvisation through physical understanding: Using novel objects as tools with visual foresight,” arXiv preprint arXiv:1904.05538, 2019.
Ứng biến nhờ hiểu biết vật lý: dùng vật mới làm công cụ với khả năng dự đoán bằng thị giác
[33] B. Akgun, M. Cakmak, J. W. Yoo, and A. L. Thomaz, “Trajectories and keyframes for kinesthetic teaching: A human-robot interaction perspective,” in Proceedings of the seventh annual ACM/IEEE international conference on Human-Robot Interaction, 2012.
Quỹ đạo và khung hình then chốt cho dạy dẫn động trực tiếp: góc nhìn tương tác người–robot
[34] P. Kormushev, D. N. Nenchev, S. Calinon, and D. G. Caldwell, “Upper-body kinesthetic teaching of a free-standing humanoid robot,” in 2011 ICRA, 2011.
Dạy dẫn động trực tiếp phần thân trên cho robot hình người đứng tự do
[35] P. Kormushev, S. Calinon, and D. G. Caldwell, “Imitation learning of positional and force skills demonstrated via kinesthetic teaching and haptic input,” Advanced Robotics, 2011.
Học bắt chước kỹ năng vị trí và lực từ dẫn động trực tiếp và đầu vào xúc giác
[36] A. Weiss, J. Igelsbock, S. Calinon, A. Billard, and M. Tscheligi, “Teaching a humanoid: A user study on learning by demonstration with hoap-3,” in RO-MAN 2009-The 18th IEEE International Symposium on Robot and Human Interactive Communication. IEEE, 2009.
Dạy robot hình người: nghiên cứu người dùng về học từ làm mẫu với HOAP-3
[37] H. Ben Amor, E. Berger, D. Vogt, and B. Jung, “Kinesthetic bootstrapping: Teaching motor skills to humanoid robots through physical interaction,” in Annual conference on artificial intelligence. Springer, 2009.
Khởi tạo học vận động bằng dẫn động trực tiếp qua tương tác vật lý
[38] T. Senoo, A. Namiki, and M. Ishikawa, “Ball control in high-speed batting motion using hybrid trajectory generator,” in Proceedings 2006 ICRA., 2006.
Điều khiển bóng trong động tác đánh tốc độ cao bằng bộ sinh quỹ đạo lai
[39] D. B. DAmbrosio, S. Abeyruwan, L. Graesser, A. Iscen, H. B. Amor, A. Bewley, B. J. Reed, K. Reymann, L. Takayama, Y. Tassa et al., “Achieving human level competitive robot table tennis,” in 2025 ICRA, 2025.
Đạt trình độ con người trong bóng bàn thi đấu bằng robot
[40] D. B¨uchler, S. Guist, R. Calandra, V. Berenz, B. Sch¨olkopf, and J. Peters, “Learning to play table tennis from scratch using muscular robots,” IEEE Transactions on Robotics, 2022.
Học chơi bóng bàn từ đầu bằng robot cơ bắp
[41] K. M¨ulling, J. Kober, O. Kroemer, and J. Peters, “Learning to select and generalize striking movements in robot table tennis,” The International Journal of Robotics Research, 2013.
Học lựa chọn và khái quát động tác đánh trong bóng bàn robot
[42] Y. Zhu, Y. Zhao, L. Jin, J. Wu, and R. Xiong, “Towards high level skill learning: Learn to return table tennis ball using monte-carlo based policy gradient method,” in 2018 IEEE international conference on real-time computing and robotics (RCAR), 2018.
Hướng tới học kỹ năng cấp cao: học trả bóng bàn bằng gradient chính sách Monte Carlo
[43] C. Liu, Y. Hayakawa, and A. Nakashima, “Racket control for a table tennis robot to return a ball,” SICE Journal of Control, Measurement, and System Integration, 2013.
Điều khiển vợt cho robot bóng bàn trả bóng
[44] J. Ichnowski, Y. Avigal, Y. Liu, and K. Goldberg, “Gomp-fit: Grasp-optimized motion planning for fast inertial transport,” in 2022 iICRA. IEEE, 2022, pp. 5255–5261.
GOMP-FIT: lập kế hoạch chuyển động tối ưu nắm bắt cho vận chuyển quán tính nhanh
[45] A. Zeng, S. Song, J. Lee, A. Rodriguez, and T. Funkhouser, “Tossingbot: Learning to throw arbitrary objects with residual physics,” IEEE Transactions on Robotics, 2020.
TossingBot: học ném vật bất kỳ với vật lý phần dư
[46] H. Zhang, J. Ichnowski, D. Seita, J. Wang, H. Huang, and K. Goldberg, “Robots of the lost arc: Self-supervised learning to dynamically manipulate fixed-endpoint cables,” in 2021 ICRA. IEEE, 2021, pp. 4560–4567.
Robot của cung chuyển động thất lạc: học tự giám sát thao tác động với dây có điểm cuối cố định
[47] C. Chi, B. Burchfiel, E. Cousineau, S. Feng, and S. Song, “Iterative residual policy: for goal-conditioned dynamic manipulation of deformable objects,” The International Journal of Robotics Research, 2024.
Chính sách phần dư lặp cho thao tác động theo mục tiêu với vật biến dạng
[48] H. Ha and S. Song, “Flingbot: The unreasonable effectiveness of dynamic manipulation for cloth unfolding,” in CoRL, 2022.
FlingBot: hiệu quả đáng ngạc nhiên của thao tác động trong trải vải
[49] S. Kim, A. Shukla, and A. Billard, “Catching objects in flight,” IEEE Transactions on Robotics, 2014.
Bắt vật thể đang bay
[50] N. Masuya, H. Sato, K. Yamane, T. Kusume, S. Sakaino, and T. Tsuji, “Variable-speed teaching–playback as real-world data augmentation for imitation learning,” Advanced Robotics, 2025.
Dạy–phát lại với tốc độ thay đổi như tăng cường dữ liệu thực cho học bắt chước
[51] L. Guo, Z. Xue, Z. Xu, and H. Xu, “Demospeedup: Accelerating visuomotor policies via entropy-guided demonstration acceleration,” arXiv preprint arXiv:2506.05064, 2025.
DemoSpeedup: tăng tốc chính sách thị giác–vận động bằng tăng tốc mẫu theo entropy
[52] N. R. Arachchige, Z. Chen, W. Jung, W. C. Shin, R. Bansal, P. Barroso, Y. H. He, Y. C. Lin, B. Joffe, S. Kousik et al., “Sail: Faster-than-demonstration execution of imitation learning policies,” arXiv preprint arXiv:2506.11948, 2025.
SAIL: thực thi chính sách học bắt chước nhanh hơn làm mẫu
[53] D. D. Yuan, T. Z. Zhao, K. Burns, and C. Finn, “Speedtuning: Speeding up policy execution with lightweight reinforcement learning,” in 2025 ICRA, 2025.
SpeedTuning: tăng tốc thực thi chính sách bằng học tăng cường gọn nhẹ
[54] B. Kim, J. Pahk, C. Lee, J. Kim, J. Lee, T. T. Kim, K. Shim, J. K. Lee, and B.-T. Zhang, “Espada: Execution speedup via semantics aware demonstration data downsampling for imitation learning,” IEEE Robotics and Automation Letters, 2026.
ESPADA: tăng tốc thực thi bằng lấy thưa dữ liệu mẫu có xét ngữ nghĩa
[55] X. Han, H. Xiong, H. Chen, C. Liu, A. Torralba, Y. Zhu, and Y. Du, “B-spline policy: Accelerating manipulation policies via b-spline action representations,” arXiv preprint arXiv:2607.09648, 2026.
Chính sách B-spline: tăng tốc thao tác bằng biểu diễn hành động B-spline
[56] K. M. Lynch and F. C. Park, Modern robotics. Cambridge University Press, 2017.
Robot học hiện đại
[57] M. Xu, H. Zhang, Y. Hou, Z. Xu, L. Fan, M. Veloso, and S. Song, “Dexumi: Using human hand as the universal manipulation interface for dexterous manipulation,” arXiv preprint arXiv:2505.21864, 2025.
DexUMI: dùng bàn tay người làm giao diện thao tác phổ quát cho thao tác khéo léo
[58] N. Ravi, V. Gabeur, Y.-T. Hu, R. Hu, C. Ryali, T. Ma, H. Khedr, R. R¨adle, C. Rolland, L. Gustafson, E. Mintun, J. Pan, K. V. Alwala, N. Carion, C.-Y. Wu, R. Girshick, P. Doll´ar, and C. Feichtenhofer, “Sam 2: Segment anything in images and videos,” arXiv preprint arXiv:2408.00714, 2024.
SAM 2: phân đoạn mọi thứ trong ảnh và video
[59] S. Zhou, C. Li, K. C. Chan, and C. C. Loy, “ProPainter: Improving propagation and transformer for video inpainting,” in Proceedings of IEEE International Conference on Computer Vision (ICCV), 2023.
ProPainter: cải thiện lan truyền và Transformer cho điền khuyết video
Synthesis / Tổng quan cuối bài
Lập luận của bài báo đứng vững ở đâu?
Luận đề trong một câu: Flash ALOHA cho thấy kết hợp làm mẫu trực tiếp ở tốc độ cao, mặt nạ thị giác theo động học và làm trơn tại ranh giới đoạn giúp robot học thao tác hai tay nhanh, chính xác từ 50 lượt mẫu mỗi nhiệm vụ trong những điều kiện thí nghiệm được khảo sát.
Khung logic · nhấn một bước để trở lại bằng chứng
- 1 · Câu hỏi / Mục IVì sao robot làm được nhưng thường quá chậm để hữu ích?
- 2 · Luận điểm / Mục III–IVPhải giải quyết cả dữ liệu mẫu nhanh lẫn khả năng thực thi ổn định: dẫn động trực tiếp + mặt nạ + làm trơn.
- 3 · Bằng chứng / Bảng I–III, Hình 7Loại bỏ thành phần làm giảm thành công; các baseline tăng tốc dữ liệu chậm vẫn chậm hơn và kém chính xác hơn; người mới vận hành nhanh hơn.
- 4 · Phản biện & nhượng bộ / V.D, VITE có thể kém vì trễ suy luận và trung bình hóa hướng đi; mặt nạ cũng xóa thông tin hữu ích; hệ thống còn thiếu xúc giác.
- 5 · Kết luận có giới hạn / Mục VIMột giải pháp toàn hệ thống thực tiễn cho năm tác vụ; chưa phải chứng minh mọi thao tác đều đạt tốc độ con người hay mọi lợi ích chỉ đến từ giao diện.
Điểm mạnh nhất · Thí nghiệm loại bỏ làm trơn
Bảng II cho thấy thành công toàn nhiệm vụ tăng từ 65 lên 90% ở tách cốc, 75 lên 85% ở lắp pin, và 80 lên 100% ở cả dọn bàn lẫn gấp quần khi so với No Smooth. Đây là bằng chứng trực tiếp, nhất quán qua bốn nhiệm vụ cho một thành phần cụ thể, thay vì chỉ là video biểu diễn đẹp. Ours đồng thời nhanh hơn TE trong cả bốn tác vụ được báo cáo.
Điểm yếu nhất · Quy kết nguyên nhân cho lợi thế tốc độ
So sánh tốc độ thay đổi đồng thời giao diện thu mẫu, dữ liệu và nền tảng robot: baseline dùng ALOHA 2, trong khi Flash ALOHA dùng ARX/HESSIAN. Vì vậy, dữ liệu thuyết phục về lợi ích của toàn hệ thống hơn là chứng minh riêng giao diện trực tiếp tạo ra toàn bộ mức tăng. ‘Gần tốc độ con người’ cũng thiếu một bảng chuẩn đối chứng con người đồng nhất cho cả năm nhiệm vụ.
Đừng biến giả thuyết thành kết quả
Cơ chế khiến inpainting kém và dự đoán TE vẫn thất bại khi không còn trễ là giả thuyết của tác giả. Các bảng I–III không báo cáo khoảng tin cậy cho tỷ lệ thành công; Phụ lục V chỉ nêu seed 0. Không nên gán ý nghĩa thống kê hoặc tính khái quát rộng hơn dữ liệu đang có.
Đối chiếu số học · giảm thời gian so với Puppeteering gốc
| Nhiệm vụ | Puppet (s) | Ours (s) | Giảm thời gian |
|---|---|---|---|
| Tách cốc | 8.84 | 3.97 | 55.1% |
| Lắp pin | 17.87 | 5.70 | 68.1% |
| Dọn bàn | 16.05 | 6.81 | 57.6% |
Tính từ Bảng III: (thời gian Puppet − thời gian Ours) / thời gian Puppet × 100. Cả ba đều trên 50%; không có mốc puppeteering cho tung–bắt bóng và không suy rộng phép tính này sang gấp quần. Những tỷ lệ này là phần tính thêm của người biên soạn, không phải một thí nghiệm mới.