Học phần: Học máy cho Robot (Robot Learning) · Seminar đọc bài báo — Bản chú giải lập luận

Beyond Policy Patches: Distilling RL Specialists into Vision-Language-Action Policies

Zhennan Jiang, Tingying Xie, Shilong Ji, … Dongbin Zhao, Chao Yu* · UCAS · Striding AI · Tsinghua · CASIA · arXiv:2611.02777 [cs.RO], 02/11/2026
Chú giải (bấm để bật/tắt từng lớp)
Nguyên văn tiếng Anh · Bản dịch tiếng ViệtChú giải lập luận

AbstractTóm tắt

¶ A.1

Vision-language-action (VLA) policies can handle noncritical stages of long-horizon manipulation yet fail during short precision-critical phases. Lightweight reinforcement learning (RL) specialists can address these failures without directly applying RL to the full VLA, but retain auxiliary controllers and switching mechanisms at deployment. We study how to transfer their capabilities into a single flow-matching VLA. Direct imitation of specialist rollouts can reproduce action jitter and leave the VLA unprepared for states encountered during its own execution. We introduce REPAIR, a value-guided distillation framework that combines offline initialization with on-policy refinement. At each critical-phase observation, REPAIR queries the corresponding specialist for multiple action candidates and weights them using its critic to construct a supervision distribution. A shared weighted flow-matching objective trains the VLA first on observations from specialist-assisted rollouts, then on observations collected through its own execution. Specialists provide supervision without taking control during on-policy collection and are removed at deployment. Across six real-robot tasks with 30 evaluation trials per task, REPAIR achieves 100% success on all six tasks, with lower mean end-effector jerk than specialist-assisted execution on every task. Additional visual results are available at https://repair-vla.github.io/.

Các chính sách thị giác–ngôn ngữ–hành động (VLA) xử lý tốt những giai đoạn không then chốt của các tác vụ thao tác dài hạn, nhưng lại thất bại ở những pha ngắn đòi hỏi độ chính xác cao. Các “chuyên gia” học tăng cường (RL) gọn nhẹ có thể khắc phục những thất bại này mà không cần áp dụng RL trực tiếp lên toàn bộ VLA; đổi lại, khi triển khai hệ thống vẫn phải giữ thêm các bộ điều khiển phụ trợ và cơ chế chuyển quyền điều khiển. Bài báo này nghiên cứu cách chuyển giao năng lực của các chuyên gia ấy vào một VLA flow-matching duy nhất. Việc bắt chước trực tiếp các quỹ đạo do chuyên gia thực hiện có thể tái tạo hiện tượng rung giật hành động và khiến VLA không được chuẩn bị cho những trạng thái nó gặp phải khi tự vận hành. Chúng tôi đề xuất REPAIR — một khung chưng cất có dẫn hướng bởi giá trị, kết hợp khởi tạo ngoại tuyến (offline) với tinh chỉnh theo chính sách (on-policy). Tại mỗi quan sát thuộc pha then chốt, REPAIR truy vấn chuyên gia tương ứng để lấy nhiều ứng viên hành động, rồi dùng critic của chuyên gia đó gán trọng số cho chúng nhằm xây dựng một phân phối giám sát. Cùng một hàm mục tiêu flow-matching có trọng số được dùng để huấn luyện VLA, trước hết trên các quan sát từ những lần chạy có chuyên gia hỗ trợ, sau đó trên các quan sát do chính VLA thu thập khi tự thực thi. Trong giai đoạn thu thập on-policy, chuyên gia chỉ cung cấp tín hiệu giám sát mà không nắm quyền điều khiển, và được loại bỏ hoàn toàn khi triển khai. Trên sáu tác vụ robot thực, mỗi tác vụ đánh giá 30 lần, REPAIR đạt tỉ lệ thành công 100% ở cả sáu tác vụ, đồng thời có độ giật (jerk) trung bình của đầu công tác thấp hơn so với cách thực thi có chuyên gia hỗ trợ trên mọi tác vụ.

1 · IntroductionMở đầu

¶ 1.1

Vision-language-action (VLA) policies provide a general foundation for robotic manipulation (Black et al., 2024; Intelligence et al., 2025; Zheng et al., 2026; Bjorck et al., 2025), yet reliable long-horizon execution can be limited by short precision-critical phases (Fan et al., 2025). A policy may reliably approach an object, yet fail during contact-rich insertion, alignment, fastening, or assembly. In these phases, millimeter-scale errors, hesitation, and repeated corrections can determine the outcome of the entire episode. Collecting more human demonstrations is not always sufficient: demonstrations may be inconsistent precisely where the required behavior is most exact, while supervised fine-tuning (SFT) provides no task-reward signal for improving those demonstrated actions.

Các chính sách VLA đã trở thành một nền tảng chung cho bài toán thao tác robot (Black và cs., 2024; Intelligence và cs., 2025; Zheng và cs., 2026; Bjorck và cs., 2025), song khả năng thực thi ổn định các tác vụ dài hạn vẫn có thể bị giới hạn bởi những pha ngắn đòi hỏi độ chính xác cao (Fan và cs., 2025). Một chính sách có thể tiếp cận vật thể rất đáng tin cậy, nhưng lại thất bại khi phải lắp chèn, căn chỉnh, siết chặt hay lắp ráp — những thao tác giàu tiếp xúc. Ở các pha này, sai số cỡ milimét, sự lưỡng lự và những lần hiệu chỉnh lặp đi lặp lại có thể quyết định kết cục của cả lượt thực thi. Thu thập thêm dữ liệu trình diễn của con người không phải lúc nào cũng đủ: các trình diễn có thể thiếu nhất quán đúng ở chỗ cần độ chính xác cao nhất, trong khi tinh chỉnh có giám sát (SFT) không cung cấp tín hiệu thưởng của tác vụ để cải thiện chính những hành động đã được trình diễn.

¶ 1.2

Reinforcement learning (RL) offers a way beyond these limitations by improving behavior through interaction and task feedback (Lei et al., 2025; Chen et al., 2026; Jiang et al., 2025). However, directly applying RL to the VLA’s action expert can lead to unstable policy updates (Chen et al., 2025b; Wang et al., 2026). Full-task RL introduces a separate difficulty in long-horizon settings, where sparse terminal rewards must assign credit to decisions made many steps earlier — the credit-assignment problem (Zhou et al., 2026). An alternative is to freeze the VLA and train a lightweight MLP specialist only for each precision-critical phase (Xu et al., 2026). This avoids RL updates to the large action expert and, with phase-local start conditions and success feedback, shortens the credit-assignment horizon. The learning advantage comes with deployment costs: a phase-specific design adds controllers as more critical skills are introduced, and handoffs between the VLA and specialists can introduce action discontinuities. The specialist’s own execution can also be jittery, making it unstable to deploy (Yu et al., 2026b).

Học tăng cường (RL) mở ra một hướng vượt qua những giới hạn trên, nhờ cải thiện hành vi thông qua tương tác và phản hồi từ tác vụ (Lei và cs., 2025; Chen và cs., 2026; Jiang và cs., 2025). Tuy vậy, áp dụng RL trực tiếp lên bộ sinh hành động (action expert) của VLA có thể khiến quá trình cập nhật chính sách mất ổn định (Chen và cs., 2025b; Wang và cs., 2026). Với tác vụ dài hạn, RL trên toàn bộ tác vụ còn vấp phải một khó khăn khác: phần thưởng thưa chỉ xuất hiện ở cuối lượt phải được quy trách nhiệm ngược về những quyết định đã đưa ra từ nhiều bước trước (Zhou và cs., 2026). Một lựa chọn thay thế là đóng băng VLA và chỉ huấn luyện một chuyên gia MLP gọn nhẹ cho từng pha đòi hỏi chính xác (Xu và cs., 2026). Cách này tránh phải cập nhật RL cho bộ sinh hành động cỡ lớn, đồng thời — nhờ điều kiện khởi đầu và tín hiệu thành công cục bộ theo từng pha — rút ngắn tầm phân bổ trách nhiệm. Nhưng lợi thế khi học lại đi kèm cái giá khi triển khai: thiết kế theo từng pha buộc phải thêm bộ điều khiển mỗi khi xuất hiện thêm kỹ năng then chốt, và việc chuyển giao quyền điều khiển giữa VLA với chuyên gia có thể gây gián đoạn hành động. Bản thân chuyên gia cũng có thể thực thi giật cục, khiến việc triển khai thiếu ổn định (Yu và cs., 2026b).

¶ 1.3

Local specialists thus simplify RL training but complicate deployment. This raises a question: Can this local RL expertise instead repair the VLA itself, without retaining auxiliary controllers at deployment? A natural approach is to distill the specialist’s executed actions into the VLA. Prior work shows that RL-generated demonstrations can outperform human data (Xu et al., 2024; Yang et al., 2025; Xiao et al., 2025). Yet successful trajectories alone leave two problems unresolved. First, their action labels record one realization of the specialist’s behavior, including stochastic fluctuations and switching artifacts. Direct imitation treats these variations as targets alongside useful corrections, and can reproduce jitter even after the specialist is removed (Section 3). The recorded actions leave unused the expert’s ability to propose alternatives and its critic’s ability to evaluate them. Second, the VLA induces a different state distribution from specialist-assisted execution. Under purely offline distillation, small deviations can therefore lead to states without appropriate supervision and compound into task failure (Ross et al., 2011). Effective transfer requires constructing suitable expert action targets at the states the learner actually encounters.

Như vậy, chuyên gia cục bộ giúp việc huấn luyện RL trở nên đơn giản nhưng lại làm việc triển khai thêm phức tạp. Từ đó nảy sinh câu hỏi: liệu có thể dùng chính kinh nghiệm RL cục bộ này để “sửa chữa” bản thân VLA, mà không cần giữ lại bộ điều khiển phụ trợ khi triển khai? Một cách tiếp cận tự nhiên là chưng cất các hành động mà chuyên gia đã thực thi vào VLA. Các nghiên cứu trước cho thấy dữ liệu trình diễn do RL sinh ra có thể vượt trội dữ liệu của con người (Xu và cs., 2024; Yang và cs., 2025; Xiao và cs., 2025). Thế nhưng, chỉ riêng các quỹ đạo thành công vẫn để ngỏ hai vấn đề. Thứ nhất, nhãn hành động của chúng chỉ ghi lại một lần hiện thực hóa hành vi của chuyên gia, kèm theo cả những dao động ngẫu nhiên và nhiễu do chuyển quyền điều khiển. Bắt chước trực tiếp sẽ coi những biến động này là mục tiêu học, ngang hàng với các hiệu chỉnh hữu ích, và có thể tái tạo hiện tượng giật cục ngay cả khi chuyên gia đã bị loại bỏ (Mục 3). Các hành động được ghi lại cũng bỏ phí khả năng đề xuất phương án thay thế của chuyên gia và khả năng đánh giá các phương án ấy của critic. Thứ hai, VLA tạo ra một phân phối trạng thái khác với khi thực thi có chuyên gia hỗ trợ. Do đó, nếu chỉ chưng cất ngoại tuyến, những sai lệch nhỏ có thể đưa robot tới các trạng thái không có tín hiệu giám sát phù hợp và tích tụ thành thất bại của cả tác vụ (Ross và cs., 2011). Muốn chuyển giao hiệu quả, cần xây dựng các mục tiêu hành động chuyên gia phù hợp ngay tại những trạng thái mà mô hình học thực sự gặp phải.

¶ Hình 1
Figure 1: Overview of REPAIR. (a) Existing approaches: full VLA RL (unstable updates, long-horizon credit assignment); lightweight MLP specialist (extra controller at deployment, jitter at phase switches); naive trajectory distillation (state distribution mismatch, noise and jitter are copied). (b) Ours: offline warm start + on-policy repair — phase-specific experts propose N candidates, Q-weighted targets feed the VRFM loss. (c) Six-task evaluation of success rate and jerk. Local RL expertise provides value-guided supervision for offline initialization and on-policy repair. The VLA acts without specialist takeover during online distillation and is deployed as a single policy.

Hình 1: Tổng quan REPAIR. (a) Các cách tiếp cận hiện có: RL trên toàn VLA (cập nhật bất ổn, khó phân bổ trách nhiệm dài hạn); chuyên gia MLP gọn nhẹ (thêm bộ điều khiển khi triển khai, giật khi chuyển pha); chưng cất quỹ đạo ngây thơ (lệch phân phối trạng thái, sao chép nhiễu và rung giật). (b) Đề xuất: khởi động ngoại tuyến + sửa chữa on-policy — chuyên gia theo pha đề xuất N ứng viên, mục tiêu được trọng số theo Q đưa vào hàm mất mát VRFM. (c) Đánh giá tỉ lệ thành công và độ giật trên sáu tác vụ. Kinh nghiệm RL cục bộ cung cấp tín hiệu giám sát dẫn hướng bởi giá trị cho cả khởi tạo ngoại tuyến lẫn sửa chữa on-policy; trong chưng cất trực tuyến, VLA tự hành động mà không bị chuyên gia giành quyền, và được triển khai như một chính sách duy nhất.

¶ 1.4

To address these challenges, we introduce REPAIR, a value-guided on-policy distillation framework that transfers local RL expertise into a single VLA. At each critical-phase observation, REPAIR re-queries the relevant specialist for multiple action candidates and uses group-normalized critic scores to construct a value-refined expert action distribution. A weighted flow-matching objective trains the VLA on these alternatives, rather than on fixed executed-action labels. The same supervision operator supports both stages of learning: an offline warm start uses observations from specialist-assisted rollouts to establish the critical skills, and on-policy repair applies the operator to observations collected by the VLA itself. During this second stage, specialists supply action targets without taking control, so supervision follows errors arising under the learner’s own execution. Imitation of replayed VLA actions supports retention of noncritical behavior, using the student’s stored predictions during on-policy repair. Only the repaired VLA is deployed, with no auxiliary specialist or controller switching.

Để giải quyết những thách thức trên, chúng tôi đề xuất REPAIR — một khung chưng cất on-policy dẫn hướng bởi giá trị, giúp chuyển giao kinh nghiệm RL cục bộ vào một VLA duy nhất. Tại mỗi quan sát thuộc pha then chốt, REPAIR truy vấn lại chuyên gia tương ứng để lấy nhiều ứng viên hành động, rồi dùng điểm critic đã được chuẩn hóa theo nhóm để dựng nên một phân phối hành động chuyên gia được tinh lọc theo giá trị. Một hàm mục tiêu flow-matching có trọng số huấn luyện VLA trên các phương án này, thay vì trên những nhãn hành động cố định đã được thực thi. Cùng một toán tử giám sát được dùng cho cả hai giai đoạn học: giai đoạn khởi động ngoại tuyến dùng các quan sát từ những lần chạy có chuyên gia hỗ trợ để hình thành kỹ năng then chốt, còn giai đoạn sửa chữa on-policy áp dụng toán tử đó lên các quan sát do chính VLA thu thập. Ở giai đoạn thứ hai, chuyên gia cung cấp mục tiêu hành động mà không nắm quyền điều khiển, nhờ vậy tín hiệu giám sát bám theo đúng những sai sót phát sinh khi mô hình học tự thực thi. Việc bắt chước lại các hành động VLA đã lưu giúp duy trì hành vi ở các pha không then chốt; trong giai đoạn on-policy, mục tiêu này chính là các dự đoán đã lưu của mô hình học. Khi triển khai, chỉ có VLA đã được sửa chữa — không còn chuyên gia phụ trợ hay cơ chế chuyển quyền điều khiển.

¶ 1.5

The contributions are:

  • We empirically study specialist deployment and trajectory distillation in long-horizon manipulation. Our analysis shows that successful critical-phase takeover can still produce jittery execution, and identifies inherited action fluctuations and teacher–learner state-distribution mismatch as limitations of direct trajectory distillation.
  • We introduce REPAIR, a unified framework that absorbs local RL expertise into the VLA’s action expert. Critic-weighted expert candidates define a value-refined supervision distribution, with the same flow-matching objective supporting offline initialization and on-policy repair on learner-visited states, without specialist takeover during online collection.
  • Across six real-robot tasks with 30 evaluation trials each, REPAIR achieves 100% success on all six tasks. It deploys a single VLA without auxiliary controllers and reduces mean end-effector jerk on successful trajectories by 29.8–67.5% relative to RL specialist takeover.

Các đóng góp chính gồm:

  • Nghiên cứu thực nghiệm về việc triển khai chuyên gia và chưng cất quỹ đạo trong thao tác dài hạn. Phân tích cho thấy ngay cả khi chuyên gia tiếp quản pha then chốt thành công, quá trình thực thi vẫn có thể giật cục; đồng thời chỉ ra hai hạn chế của việc chưng cất quỹ đạo trực tiếp: kế thừa dao động hành động và lệch phân phối trạng thái giữa thầy và trò.
  • Đề xuất REPAIR, một khung thống nhất giúp bộ sinh hành động của VLA hấp thụ kinh nghiệm RL cục bộ. Các ứng viên chuyên gia được critic gán trọng số tạo thành một phân phối giám sát tinh lọc theo giá trị; cùng một hàm mục tiêu flow-matching phục vụ cả khởi tạo ngoại tuyến lẫn sửa chữa on-policy trên các trạng thái mô hình học đi qua, mà không để chuyên gia giành quyền điều khiển khi thu thập trực tuyến.
  • Trên sáu tác vụ robot thực, mỗi tác vụ 30 lần đánh giá, REPAIR đạt thành công 100% ở cả sáu. Phương pháp chỉ triển khai một VLA duy nhất, không cần bộ điều khiển phụ trợ, và giảm độ giật trung bình của đầu công tác trên các quỹ đạo thành công từ 29,8% đến 67,5% so với cách để chuyên gia RL tiếp quản.

2 · Related WorkCông trình liên quan

¶ 2.1

Real-world RL and VLA post-training. On-policy RL approaches (Jiang et al., 2026; Chen et al., 2025a; Liu et al., 2025) improve VLA performance beyond supervised fine-tuning (SFT). However, these methods are largely evaluated in simulation, because parallel rollouts are not available in real-world settings. To improve sample efficiency, RLPD (Ball et al., 2023) reuses offline data during online learning, while HIL-SERL (Luo et al., 2025) combines demonstrations and human corrections for real-robot training. ConRFT (Chen et al., 2025b) extends this direction to VLAs. Direct value optimization of expressive action generators can nevertheless destabilize training. Residual (Yuan et al., 2025) and action-editing methods (Dong et al., 2026) ease this optimization burden by training lightweight correction policies. However, a smaller controller does not by itself shorten the temporal credit-assignment horizon. RL Token (RLT) (Xu et al., 2026) concentrates online learning on precision-critical phases, where a lightweight MLP actor takes over from the base VLA, localizing credit assignment to short task segments. This design retains auxiliary controllers and policy handoffs at deployment. These limitations motivate transferring local RL expertise into a single VLA that executes the entire task without auxiliary controllers.

RL trong thế giới thực và hậu huấn luyện VLA. Các phương pháp RL on-policy (Jiang và cs., 2026; Chen và cs., 2025a; Liu và cs., 2025) giúp VLA vượt qua mức hiệu năng của SFT. Tuy nhiên, chúng chủ yếu được đánh giá trong mô phỏng, vì ngoài thực tế không thể chạy song song nhiều lượt thực thi. Để tăng hiệu quả mẫu, RLPD (Ball và cs., 2023) tái sử dụng dữ liệu ngoại tuyến trong khi học trực tuyến, còn HIL-SERL (Luo và cs., 2025) kết hợp dữ liệu trình diễn và hiệu chỉnh của con người để huấn luyện trên robot thật. ConRFT (Chen và cs., 2025b) mở rộng hướng này sang VLA. Dù vậy, tối ưu giá trị trực tiếp trên các bộ sinh hành động có khả năng biểu diễn cao vẫn có thể làm quá trình huấn luyện mất ổn định. Các phương pháp phần dư (Yuan và cs., 2025) và chỉnh sửa hành động (Dong và cs., 2026) giảm gánh nặng tối ưu bằng cách huấn luyện các chính sách hiệu chỉnh gọn nhẹ. Nhưng một bộ điều khiển nhỏ hơn tự nó không rút ngắn được tầm phân bổ trách nhiệm theo thời gian. RL Token (RLT) (Xu và cs., 2026) tập trung việc học trực tuyến vào các pha đòi hỏi chính xác, nơi một actor MLP gọn nhẹ tiếp quản từ VLA gốc, qua đó khoanh vùng việc phân bổ trách nhiệm vào những đoạn tác vụ ngắn. Thiết kế này vẫn giữ lại bộ điều khiển phụ trợ và việc chuyển giao chính sách khi triển khai. Chính những hạn chế ấy thúc đẩy ý tưởng chuyển kinh nghiệm RL cục bộ vào một VLA duy nhất, có khả năng thực thi trọn vẹn tác vụ mà không cần bộ điều khiển phụ trợ.

¶ 2.2

Distilling knowledge from data and policy priors. Supervised fine-tuning (SFT) on human teleoperation data is a common way to transfer task knowledge into pretrained robot policies (Black et al., 2024). HG-DAgger (Kelly et al., 2019) extends demonstration learning by allowing humans to take over during policy execution and aggregating their corrective actions for subsequent policy updates. Learned policies provide another source of supervision beyond human demonstrations. RLDG (Xu et al., 2024) trains task-specific RL experts and uses their rollouts to fine-tune generalist policies. Beyond Human Demonstrations (Yang et al., 2025) uses diffusion-based RL to generate smooth, low-variance trajectories for VLA training. PLD (Xiao et al., 2025) learns residual specialists that probe generalist failure regions, collects recovery trajectories through hybrid rollouts aligned with the generalist’s state distribution, and distills the curated data into the generalist with SFT. In these methods, knowledge transfer relies on action labels recorded during data collection. REPAIR instead queries the specialist actor and critic to construct supervision at each critical-phase observation: it resamples multiple action chunks and weights them by their relative predicted values to form a value-refined target distribution. The same supervision rule supports offline initialization and subsequent on-policy distillation on learner-visited states, where specialists provide action proposals and value-based preferences without taking control.

Chưng cất tri thức từ dữ liệu và từ chính sách tiên nghiệm. SFT trên dữ liệu điều khiển từ xa của con người là cách phổ biến để đưa tri thức tác vụ vào các chính sách robot đã tiền huấn luyện (Black và cs., 2024). HG-DAgger (Kelly và cs., 2019) mở rộng học từ trình diễn bằng cách cho phép con người giành quyền điều khiển khi chính sách đang chạy, rồi gom các hành động hiệu chỉnh ấy để cập nhật chính sách về sau. Ngoài trình diễn của con người, các chính sách đã học cũng là một nguồn giám sát. RLDG (Xu và cs., 2024) huấn luyện chuyên gia RL cho từng tác vụ và dùng quỹ đạo của chúng để tinh chỉnh chính sách tổng quát. Beyond Human Demonstrations (Yang và cs., 2025) dùng RL dựa trên khuếch tán để sinh quỹ đạo mượt, ít phương sai cho việc huấn luyện VLA. PLD (Xiao và cs., 2025) học các chuyên gia phần dư để dò tìm vùng thất bại của chính sách tổng quát, thu quỹ đạo phục hồi qua các lượt chạy lai bám sát phân phối trạng thái của chính sách tổng quát, rồi chưng cất dữ liệu đã chọn lọc vào đó bằng SFT. Điểm chung của các phương pháp này là việc chuyển giao tri thức dựa trên nhãn hành động được ghi lại lúc thu thập dữ liệu. Ngược lại, REPAIR truy vấn trực tiếp actor và critic của chuyên gia để xây dựng tín hiệu giám sát tại từng quan sát thuộc pha then chốt: nó lấy mẫu lại nhiều khối hành động và gán trọng số theo giá trị dự đoán tương đối để tạo phân phối mục tiêu tinh lọc theo giá trị. Cùng một quy tắc giám sát phục vụ cả khởi tạo ngoại tuyến lẫn chưng cất on-policy trên các trạng thái mô hình học đi qua, trong đó chuyên gia chỉ đưa ra đề xuất hành động và ưu tiên dựa trên giá trị chứ không nắm quyền điều khiển.

3 · Analysis of Specialist Deployment and DistillationPhân tích việc triển khai và chưng cất chuyên gia

¶ 3.1

Can a lightweight MLP serve as a deployed specialist? We examine this question in two peg-insertion settings: short-horizon single-arm insertion and a longer-horizon task culminating in peg assembly. We use a lightweight MLP specialist trained with RL Token (RLT), and compare two control scopes: full-task takeover, where the specialist controls the entire episode, and critical-phase takeover, where the base VLA executes the preceding stages and the specialist controls only the final assembly phase. Our preliminary experiments show comparable success for the two variants in the short-horizon setting. In the longer-horizon setting, full-task takeover performs poorly, whereas critical-phase takeover achieves high success but exhibits pronounced action jitter (see Figure 2(c)). These observations expose a practical tension: restricting the specialist’s scope makes the local skill effective, but retaining it as a deployed patch does not yield satisfactory end-to-end control. They motivate repairing the VLA’s own action expert so that the same action generator handles both the preceding stages and precision-critical behavior.

Figure 2: Specialist deployment across task horizons. (a) Peg-insertion settings. (b) Success rates for full and critical-phase takeover. (c) Position traces with local magnification.
Short · full100% Short · critical100% Long · full40% Long · critical100%

Một MLP gọn nhẹ có thể làm chuyên gia khi triển khai hay không? Chúng tôi xem xét câu hỏi này trong hai bối cảnh chèn chốt: chèn bằng một tay với tầm ngắn, và một tác vụ dài hơn kết thúc bằng lắp ráp chốt. Chúng tôi dùng một chuyên gia MLP gọn nhẹ được huấn luyện bằng RL Token (RLT) và so sánh hai phạm vi điều khiển: tiếp quản toàn tác vụ — chuyên gia điều khiển suốt lượt thực thi — và tiếp quản pha then chốt — VLA gốc thực hiện các giai đoạn trước, còn chuyên gia chỉ điều khiển pha lắp ráp cuối cùng. Thí nghiệm sơ bộ cho thấy hai biến thể thành công tương đương ở bối cảnh tầm ngắn. Với bối cảnh dài hơn, tiếp quản toàn tác vụ cho kết quả kém, trong khi tiếp quản pha then chốt đạt tỉ lệ thành công cao nhưng hành động giật rõ rệt (xem Hình 2(c)). Những quan sát này phơi bày một mâu thuẫn thực tiễn: thu hẹp phạm vi của chuyên gia giúp kỹ năng cục bộ phát huy hiệu quả, nhưng giữ nó lại như một “miếng vá” khi triển khai thì không mang lại khả năng điều khiển đầu-cuối thỏa đáng. Điều đó thúc đẩy việc sửa chữa chính bộ sinh hành động của VLA, để cùng một bộ sinh hành động đảm nhận cả các giai đoạn trước lẫn hành vi đòi hỏi chính xác.

Hình 2: Triển khai chuyên gia theo độ dài tác vụ. (a) Các bối cảnh chèn chốt. (b) Tỉ lệ thành công khi tiếp quản toàn tác vụ và tiếp quản pha then chốt (tầm ngắn: 100% / 100%; tầm dài: 40% / 100%). (c) Quỹ đạo vị trí kèm phóng to cục bộ.

¶ 3.2

Can the specialist’s competence be absorbed into the VLA? Direct fine-tuning on 10 specialist trajectories reduces success from 100% under critical-phase takeover to 60% (18/30 trials). The student reproduces the specialist’s jitter, copying incidental action fluctuations along with useful corrections. A successful rollout records one way of completing the task, but does not indicate whether its local action variations were necessary or avoidable. To examine state coverage, we compare the teacher’s and offline-distilled student’s RL-token representations using PCA (Figure 3). The projected distributions overlap, while student observations also extend beyond the teacher’s main region. Once the student’s own actions lead away from the recorded trajectories, it must recover from deviations for which the dataset may contain few corrective examples. Together, the inherited jitter and coverage mismatch suggest overfitting to a limited set of executions. Reliable transfer therefore requires refining the action targets and extending supervision to learner-visited states.

Figure 3: State coverage after offline distillation. PCA of RL-token observations (Teacher vs. Student). Shading marks 95% KDE regions.

Liệu năng lực của chuyên gia có thể được VLA hấp thụ? Tinh chỉnh trực tiếp trên 10 quỹ đạo của chuyên gia làm tỉ lệ thành công giảm từ 100% (khi chuyên gia tiếp quản pha then chốt) xuống còn 60% (18/30 lần thử). Mô hình học tái tạo cả sự giật cục của chuyên gia, sao chép những dao động hành động ngẫu nhiên cùng với các hiệu chỉnh hữu ích. Một lượt thực thi thành công chỉ ghi lại một cách hoàn thành tác vụ, chứ không cho biết những biến động hành động cục bộ trong đó là cần thiết hay có thể tránh được. Để xem xét độ phủ trạng thái, chúng tôi so sánh biểu diễn RL-token của thầy và của trò sau chưng cất ngoại tuyến bằng PCA (Hình 3). Hai phân phối chiếu chồng lấn nhau, nhưng các quan sát của trò còn lan ra ngoài vùng chính của thầy. Một khi hành động của chính mô hình học đưa nó rời khỏi các quỹ đạo đã ghi, nó phải tự phục hồi từ những sai lệch mà tập dữ liệu có thể chỉ chứa rất ít ví dụ hiệu chỉnh. Gộp lại, hiện tượng kế thừa rung giật và sự lệch độ phủ cho thấy mô hình đã quá khớp với một tập hữu hạn các lượt thực thi. Vì vậy, muốn chuyển giao đáng tin cậy thì phải tinh lọc mục tiêu hành động và mở rộng giám sát tới các trạng thái mà mô hình học thực sự đi qua.

Hình 3: Độ phủ trạng thái sau chưng cất ngoại tuyến — PCA của các quan sát RL-token (thầy và trò); vùng tô bóng là miền KDE 95%.

4 · From Local Specialists to Action-Expert RepairTừ chuyên gia cục bộ đến sửa chữa bộ sinh hành động

¶ 4.0

REPAIR repairs the VLA’s action expert using value-guided supervision from temporary phase-specific RL specialists. We first define the repair problem and its supervision requirements, then outline the framework before detailing supervision construction and the two distillation stages. The same supervision mechanism supports offline initialization and on-policy repair; the two stages differ in where observations are collected.

REPAIR sửa chữa bộ sinh hành động của VLA bằng tín hiệu giám sát dẫn hướng bởi giá trị, lấy từ các chuyên gia RL tạm thời gắn với từng pha. Trước hết, chúng tôi định nghĩa bài toán sửa chữa và các yêu cầu đối với tín hiệu giám sát; sau đó phác thảo khung tổng thể, rồi trình bày chi tiết cách xây dựng giám sát cùng hai giai đoạn chưng cất. Hai giai đoạn — khởi tạo ngoại tuyến và sửa chữa on-policy — dùng chung một cơ chế giám sát, chỉ khác nhau ở nguồn thu thập quan sát.

4.1 Problem Setup and Supervision RequirementsThiết lập bài toán và yêu cầu giám sát

¶ 4.1.1

Motivated by Section 3, we study how to repair a pretrained VLA’s action expert using temporary phase-specific RL specialists. We consider a family of long-horizon manipulation tasks represented as partially observed Markov decision processes. At time k, the policy receives observation ok (images and proprioception), a language instruction ℓ, and predicts an action chunk ak ∈ 𝒜H of horizon H. The student πθ(a | o, ℓ) is the pretrained VLA to be repaired. A task contains C ≥ 1 precision-critical phases. Let g(o, ℓ) ∈ {0, …, C} denote the experimenter-supplied training-time phase annotation, where 0 indicates a noncritical observation. Each critical phase c ∈ {1, …, C} has a lightweight MLP specialist πE,c(a | o, ℓ) and a corresponding critic QE,c(o, ℓ, a). For an observation with g(o, ℓ) = c > 0, this pair supplies the specialist supervision.

Xuất phát từ Mục 3, chúng tôi nghiên cứu cách sửa chữa bộ sinh hành động của một VLA đã tiền huấn luyện bằng các chuyên gia RL tạm thời theo pha. Chúng tôi xét một họ tác vụ thao tác dài hạn, được mô hình hóa dưới dạng quá trình quyết định Markov quan sát một phần. Tại thời điểm k, chính sách nhận quan sát ok (ảnh và cảm biến bản thể), một chỉ dẫn ngôn ngữ ℓ, và dự đoán một khối hành động ak ∈ 𝒜H với tầm H. Mô hình học πθ(a | o, ℓ) chính là VLA đã tiền huấn luyện cần được sửa chữa. Mỗi tác vụ chứa C ≥ 1 pha đòi hỏi chính xác. Gọi g(o, ℓ) ∈ {0, …, C} là nhãn pha do người làm thí nghiệm cung cấp trong lúc huấn luyện, trong đó 0 biểu thị quan sát không then chốt. Mỗi pha then chốt c ∈ {1, …, C} có một chuyên gia MLP gọn nhẹ πE,c(a | o, ℓ) và một critic tương ứng QE,c(o, ℓ, a). Với quan sát có g(o, ℓ) = c > 0, cặp này đảm nhận việc cung cấp tín hiệu giám sát chuyên gia.

¶ 4.1.2

Repair objective. We seek a single deployed VLA that completes the entire task with high success, efficient execution, and smooth control under a fixed real-robot interaction budget. The specialists are available as sources of training data and supervision, but are absent at deployment. Repair should improve behavior across the critical phases while retaining the VLA’s competence in the remaining stages.

Mục tiêu sửa chữa. Chúng tôi hướng tới một VLA duy nhất khi triển khai, có khả năng hoàn thành toàn bộ tác vụ với tỉ lệ thành công cao, thực thi hiệu quả và điều khiển mượt mà, trong giới hạn một ngân sách tương tác cố định với robot thật. Các chuyên gia đóng vai trò nguồn dữ liệu huấn luyện và tín hiệu giám sát, nhưng không còn hiện diện khi triển khai. Quá trình sửa chữa phải cải thiện hành vi ở các pha then chốt, đồng thời giữ nguyên năng lực của VLA ở những giai đoạn còn lại.

¶ 4.1.3

Two support gaps. Let ρE denote the observation distribution in successful specialist or hybrid rollouts and dπθ the distribution induced when the student acts alone. Offline trajectory distillation minimizes imitation error under ρE, but deployment error accumulates under dπθ. We call this mismatch the state-support gap. At a fixed state, the student may also fail to propose a useful recovery action, and a single executed expert action does not reveal the set of high-value alternatives. We call this the action-support gap.

Hai khoảng trống về độ phủ. Gọi ρE là phân phối quan sát trong các lượt chạy thành công của chuyên gia hoặc của hệ lai, và dπθ là phân phối sinh ra khi mô hình học tự hành động. Chưng cất quỹ đạo ngoại tuyến cực tiểu sai số bắt chước theo ρE, nhưng sai số khi triển khai lại tích lũy theo dπθ. Chúng tôi gọi sự lệch pha này là khoảng trống phủ trạng thái (state-support gap). Ngay tại một trạng thái cố định, mô hình học cũng có thể không đề xuất được hành động phục hồi hữu ích, trong khi một hành động chuyên gia duy nhất đã thực thi không cho thấy tập các phương án có giá trị cao. Chúng tôi gọi đây là khoảng trống phủ hành động (action-support gap).

¶ 4.1.4

Supervision requirements. These gaps call for supervision that covers the states encountered by the VLA when acting independently and provides useful expert action alternatives at those states. The supervision should distinguish actions by their expected contribution to task success, rather than treat every recorded or sampled expert action as equally desirable. The resulting problem is to construct an expert-informed action supervision distribution on learner-induced states that enables the VLA itself to acquire the critical skill and correct its execution errors.

Yêu cầu đối với tín hiệu giám sát. Hai khoảng trống trên đòi hỏi một dạng giám sát vừa phủ được các trạng thái mà VLA gặp khi tự hoạt động, vừa cung cấp những phương án hành động chuyên gia hữu ích tại chính các trạng thái đó. Tín hiệu giám sát cần phân biệt các hành động theo mức đóng góp kỳ vọng vào thành công của tác vụ, thay vì coi mọi hành động chuyên gia — dù được ghi lại hay được lấy mẫu — đều đáng mong muốn như nhau. Bài toán đặt ra vì thế là xây dựng một phân phối giám sát hành động, dựa trên tri thức chuyên gia và đặt trên các trạng thái do mô hình học tạo ra, để chính VLA có thể tiếp thu kỹ năng then chốt và tự sửa các lỗi thực thi của mình.

4.2 Framework OverviewTổng quan khung phương pháp

¶ 4.2.1

Figure 4 organizes REPAIR into SFT initialization, phase-specific specialist training, and unified offline-to-on-policy distillation. In panel (a), human demonstrations 𝒟H are used to fine-tune a pretrained VLA, yielding the base policy π0.5 that initializes the student πθ and supports specialist training.

Hình 4 chia REPAIR thành ba bước: khởi tạo bằng SFT, huấn luyện chuyên gia theo pha, và chưng cất thống nhất từ ngoại tuyến sang on-policy. Ở khung (a), dữ liệu trình diễn của con người 𝒟H được dùng để tinh chỉnh một VLA đã tiền huấn luyện, cho ra chính sách gốc π0.5; chính sách này vừa khởi tạo mô hình học πθ, vừa làm nền cho việc huấn luyện chuyên gia.

¶ 4.2.2

Panel (b) prepares the local experts using RL Token (RLT) (Xu et al., 2026). With π0.5 frozen, we train the lightweight actor πE,c and critic QE,c for each critical phase through robot interaction with human interventions. The base policy handles noncritical stages, while each specialist learns its local skill. The trained RL actors are subsequently held fixed, and specialist-assisted rollouts provide observations and phase annotations for the offline buffer 𝒟E. Specialist-training details are deferred to Appendix B.2.

Khung (b) chuẩn bị các chuyên gia cục bộ bằng RL Token (RLT) (Xu và cs., 2026). Giữ cố định π0.5, chúng tôi huấn luyện actor gọn nhẹ πE,c và critic QE,c cho từng pha then chốt thông qua tương tác với robot, có sự can thiệp của con người. Chính sách gốc đảm nhận các giai đoạn không then chốt, còn mỗi chuyên gia học kỹ năng cục bộ của mình. Sau đó, các actor RL đã huấn luyện được giữ cố định, và các lượt chạy có chuyên gia hỗ trợ cung cấp quan sát cùng nhãn pha cho bộ đệm ngoại tuyến 𝒟E. Chi tiết huấn luyện chuyên gia được trình bày ở Phụ lục B.2.

¶ 4.2.3

Panel (c) connects both observation sources to the same value-refined supervision mechanism. At a critical observation, the phase annotation selects one specialist, which proposes multiple action candidates; its corresponding critic determines their relative weights in the distillation target. The VLA’s action expert learns from these targets in critical phases and imitates stored VLA actions in noncritical phases. Offline distillation first draws observations from 𝒟E to establish the critical skills, generating expert actions anew instead of treating executed actions as fixed labels.

Khung (c) nối cả hai nguồn quan sát vào cùng một cơ chế giám sát tinh lọc theo giá trị. Tại một quan sát then chốt, nhãn pha chọn ra một chuyên gia; chuyên gia này đề xuất nhiều ứng viên hành động, và critic tương ứng xác định trọng số tương đối của chúng trong mục tiêu chưng cất. Bộ sinh hành động của VLA học từ các mục tiêu này ở pha then chốt, còn ở pha không then chốt thì bắt chước các hành động VLA đã lưu. Chưng cất ngoại tuyến trước tiên lấy quan sát từ 𝒟E để hình thành kỹ năng then chốt, trong đó hành động chuyên gia được sinh mới hoàn toàn thay vì coi các hành động đã thực thi là nhãn cố định.

¶ 4.2.4

After this warm start, student-only rollouts in panel (c) supply observations to 𝒟π. The specialists provide action candidates and value estimates at these learner-induced states without taking control. Both stages use the same supervision rule and training objective. Only the repaired VLA is retained at deployment.

Sau giai đoạn khởi động này, các lượt chạy do riêng mô hình học thực hiện (khung (c)) cung cấp quan sát cho 𝒟π. Tại các trạng thái do mô hình học tạo ra, chuyên gia đưa ra ứng viên hành động và ước lượng giá trị mà không nắm quyền điều khiển. Cả hai giai đoạn dùng chung quy tắc giám sát và hàm mục tiêu huấn luyện. Khi triển khai, chỉ giữ lại VLA đã được sửa chữa.

¶ Hình 4
Figure 4: Training framework of REPAIR. (a) Human demonstrations initialize the base VLA π0.5. (b) With this VLA frozen, critical-phase RL trains multiple specialist actors and their critics. (c) Offline observations from 𝒟E and on-policy observations from 𝒟π feed a shared value-refined supervision mechanism. For each critical observation, the selected phase specialist generates the action candidates and its critic determines their relative weights. The VLA learns from these targets in critical phases and replayed VLA actions in noncritical phases. Only the VLA is deployed.

Hình 4: Khung huấn luyện của REPAIR. (a) Dữ liệu trình diễn của con người khởi tạo VLA gốc π0.5. (b) Với VLA này được đóng băng, RL theo pha then chốt huấn luyện nhiều actor chuyên gia cùng critic của chúng. (c) Quan sát ngoại tuyến từ 𝒟E và quan sát on-policy từ 𝒟π cùng đi vào một cơ chế giám sát tinh lọc theo giá trị. Với mỗi quan sát then chốt, chuyên gia của pha được chọn sinh ra các ứng viên hành động và critic của nó quyết định trọng số tương đối. VLA học từ các mục tiêu này ở pha then chốt và từ hành động VLA phát lại ở pha không then chốt. Chỉ VLA được triển khai.

4.3 Value-Guided Offline-to-On-Policy DistillationChưng cất từ ngoại tuyến đến on-policy dẫn hướng bởi giá trị

¶ 4.3.1

Value-refined expert targets. For each critical observation, we write πE and QE for the specialist and critic selected by g(o, ℓ), suppressing the phase subscript in the following equations. To meet the requirements in Section 4.1, we construct a value-tilted expert distribution

pQE(a | o, ℓ) ∝ πE(a | o, ℓ) · exp( AE(o, ℓ, a) / τ ),(1)

where AE is a within-state relative value and τ controls how sharply the critic emphasizes high-value expert actions. REPAIR approximates this distribution with a finite candidate set and trains the VLA by weighted flow matching.

Mục tiêu chuyên gia tinh lọc theo giá trị. Với mỗi quan sát then chốt, ta ký hiệu πE và QE là chuyên gia và critic được g(o, ℓ) chọn, lược bỏ chỉ số pha trong các phương trình dưới đây. Để đáp ứng các yêu cầu ở Mục 4.1, chúng tôi xây dựng một phân phối chuyên gia được “nghiêng” theo giá trị như Phương trình (1), trong đó AE là giá trị tương đối trong phạm vi một trạng thái, còn τ điều chỉnh mức độ critic ưu tiên các hành động chuyên gia có giá trị cao. REPAIR xấp xỉ phân phối này bằng một tập ứng viên hữu hạn và huấn luyện VLA bằng flow matching có trọng số.

¶ 4.3.2

For a critical observation (o, ℓ), draw N action chunks

ai ∼ πE(· | o, ℓ),   qi = QE(o, ℓ, ai),   i = 1, …, N.(2)

To remove arbitrary per-state shifts and scales in the critic, compute group-relative scores

Âi = qi − q̄max(σq, ε),    wi = exp(Âi / τ)Σj=1N exp(Âj / τ),(3)

where q̄ and σq are the mean and standard deviation across candidates, and ε stabilizes the denominator. The weights emphasize high-value alternatives within the selected specialist’s candidate set.

Với một quan sát then chốt (o, ℓ), lấy mẫu N khối hành động và tính giá trị Q của từng khối theo Phương trình (2). Để loại bỏ những độ dịch và tỉ lệ tùy ý mà critic có thể gán khác nhau ở mỗi trạng thái, ta tính điểm tương đối trong nhóm theo Phương trình (3), trong đó q̄ và σq là trung bình và độ lệch chuẩn trên tập ứng viên, còn ε giúp mẫu số ổn định. Các trọng số này làm nổi bật những phương án có giá trị cao trong tập ứng viên của chuyên gia được chọn.

¶ 4.3.3

Unified distillation objective. Let ℒFM(θ; o, ℓ, a) denote the VLA’s standard flow-matching loss for target action chunk a (Lipman et al., 2023). We combine the candidate losses using their critic-derived weights:

ℒVRFM(θ; o, ℓ) = 𝔼{ai}∼πE [ Σi=1N wi ℒFM(θ; o, ℓ, ai) ].(4)

For noncritical observations, ℒFM imitates the stored action ar: recorded VLA actions offline and student predictions online. For replay sampling distribution ρ, the unified objective is

ℒ(θ; ρ) = 𝔼(o,ℓ,ar)∼ρ [ 𝟙{g(o, ℓ) > 0} ℒVRFM + 𝟙{g(o, ℓ) = 0} ℒFM ].(5)

Noncritical supervision becomes self-distillation on student rollouts.

Hàm mục tiêu chưng cất thống nhất. Gọi ℒFM(θ; o, ℓ, a) là hàm mất mát flow-matching tiêu chuẩn của VLA đối với khối hành động mục tiêu a (Lipman và cs., 2023). Chúng tôi kết hợp mất mát của các ứng viên theo trọng số rút ra từ critic như Phương trình (4). Với quan sát không then chốt, ℒFM bắt chước hành động đã lưu ar: là hành động VLA được ghi lại trong giai đoạn ngoại tuyến, và là dự đoán của chính mô hình học trong giai đoạn trực tuyến. Với phân phối lấy mẫu từ bộ đệm phát lại ρ, hàm mục tiêu thống nhất được cho bởi Phương trình (5). Ở các pha không then chốt, việc giám sát khi đó trở thành tự chưng cất trên chính các lượt chạy của mô hình học.

¶ 4.3.4

From offline initialization to on-policy repair. After offline training on 𝒟E, student-only rollouts populate 𝒟π and are added to the same replay. The critics are frozen offline but updated during on-policy repair to mitigate value-estimation errors on student-visited states. Equation 5 applies throughout with fixed RL actors, extending repair to learner-induced errors without expert takeover and yielding a single VLA for deployment. Hyperparameters are provided in Appendix B.1.

Từ khởi tạo ngoại tuyến đến sửa chữa on-policy. Sau khi huấn luyện ngoại tuyến trên 𝒟E, các lượt chạy do riêng mô hình học thực hiện được đưa vào 𝒟π và bổ sung vào cùng một bộ đệm phát lại. Critic được đóng băng trong giai đoạn ngoại tuyến nhưng được cập nhật trong giai đoạn sửa chữa on-policy, nhằm giảm sai số ước lượng giá trị tại các trạng thái mà mô hình học đi qua. Phương trình 5 được áp dụng xuyên suốt với các actor RL cố định, mở rộng việc sửa chữa tới những lỗi do chính mô hình học gây ra mà không cần chuyên gia tiếp quản, và cuối cùng cho ra một VLA duy nhất để triển khai. Các siêu tham số được nêu ở Phụ lục B.1.

5 · Main ExperimentsThực nghiệm chính

¶ 5.0

Our main experiments evaluate whether REPAIR repairs long-horizon task execution while retaining a single VLA at deployment. We compare task success and motion smoothness across six real-robot tasks: two short-horizon tasks and four long-horizon tasks.

Các thí nghiệm chính nhằm đánh giá liệu REPAIR có thực sự sửa chữa được việc thực thi tác vụ dài hạn trong khi chỉ giữ một VLA duy nhất khi triển khai hay không. Chúng tôi so sánh tỉ lệ thành công và độ mượt chuyển động trên sáu tác vụ robot thực: hai tác vụ tầm ngắn và bốn tác vụ dài hạn.

¶ 5.1

Tasks and evaluation protocol. Figure 5 illustrates the task sequences. The two short-horizon tasks are Stick Pick-and-Place, which requires grasping a stick and placing it on a plate, and Single-Arm Peg Insertion, which starts with a held peg and requires aligning and inserting it into a fixture. The four long-horizon tasks involve multiple sequential subgoals: Dual-Arm Peg Insertion requires picking up the socket and peg with separate arms, aligning the parts, and completing insertion; Grocery Bagging requires loading a beverage bottle, a chip container, and a biscuit packet into a bag before lifting it by its handles; Bimanual Table Clearing requires transferring two bowls to a draining basket, with each bowl grasped, handed over between arms, and placed in the basket; and Toy Stowing in a Drawer requires opening a drawer, placing two toys inside in sequence, and fully closing it. Each task contains one or more precision-critical phases. We evaluate each method for 30 trials on each task. Appendix C.1 specifies the task configurations, critical phases, success criteria, and representative failure modes.

Tác vụ và quy trình đánh giá. Hình 5 minh họa trình tự các tác vụ. Hai tác vụ tầm ngắn là Gắp–đặt que (nắm một chiếc que và đặt lên đĩa) và Chèn chốt một tay (bắt đầu với chốt đã cầm sẵn, cần căn chỉnh và chèn vào đồ gá). Bốn tác vụ dài hạn gồm nhiều mục tiêu con nối tiếp: Chèn chốt hai tay — dùng hai tay riêng biệt nhặt ổ và chốt, căn chỉnh hai chi tiết rồi chèn; Đóng túi hàng tạp hóa — cho chai nước, hộp khoai tây chiên và gói bánh quy vào túi rồi nhấc túi lên bằng quai; Dọn bàn hai tay — chuyển hai chiếc bát vào rổ úp bát, mỗi bát được nắm, chuyền giữa hai tay rồi đặt vào rổ; và Cất đồ chơi vào ngăn kéo — mở ngăn kéo, lần lượt đặt hai món đồ chơi vào rồi đóng kín. Mỗi tác vụ có một hoặc nhiều pha đòi hỏi chính xác. Mỗi phương pháp được đánh giá 30 lần trên mỗi tác vụ. Phụ lục C.1 nêu chi tiết cấu hình, các pha then chốt, tiêu chí thành công và các kiểu thất bại điển hình.

¶ 5.2

Compared methods. We compare REPAIR with five baselines: Base SFT, the VLA fine-tuned on human demonstrations without subsequent RL adaptation; RLT (Xu et al., 2026), which retains the base VLA outside critical phases and uses the corresponding RLT specialist within each critical phase; EXPO-FT (Dong et al., 2026), which fine-tunes the VLA via RL using a learned residual policy to refine VLA-generated action chunks, with Q-guided selection; ConRFT (Chen et al., 2025b), which adapts the VLA through offline-to-online reinforcement learning with a consistency-policy objective; and HG-DAgger (Kelly et al., 2019), which aggregates human takeover demonstrations for supervised policy updates.

Các phương pháp so sánh. REPAIR được so với năm phương pháp cơ sở: Base SFT — VLA được tinh chỉnh trên trình diễn của con người, không có bước thích nghi RL nào sau đó; RLT (Xu và cs., 2026) — giữ VLA gốc ngoài các pha then chốt và dùng chuyên gia RLT tương ứng trong từng pha then chốt; EXPO-FT (Dong và cs., 2026) — tinh chỉnh VLA bằng RL thông qua một chính sách phần dư học được để chỉnh sửa các khối hành động do VLA sinh ra, kèm lựa chọn có dẫn hướng Q; ConRFT (Chen và cs., 2025b) — thích nghi VLA bằng RL từ ngoại tuyến sang trực tuyến với hàm mục tiêu chính sách nhất quán; và HG-DAgger (Kelly và cs., 2019) — gom các trình diễn tiếp quản của con người để cập nhật chính sách có giám sát.

¶ 5.3

Training budgets. For SFT initialization, all methods use 50 human-teleoperated trajectories per short-horizon task and 100 per long-horizon task (Appendix C.2). To ensure a fair comparison, we allocate the same adaptation rollout budget of 50 trajectories per task to all methods, excluding human demonstrations. Each online baseline uses this budget entirely for training, while REPAIR distributes it across specialist training and distillation. Specifically, we first train an RLT teacher, denoted RLT∗, using 30 online trajectories per task. We then freeze this checkpoint and collect 10 additional specialist-assisted trajectories for offline distillation, followed by 10 trajectories generated by the student VLA for on-policy distillation. Thus, including specialist training and data collection for both distillation stages, REPAIR uses the same total of 50 adaptation trajectories per task as the baselines. After distillation, REPAIR deploys only the repaired VLA, without specialist takeover or critic-based action selection.

Ngân sách huấn luyện. Ở bước khởi tạo SFT, mọi phương pháp dùng 50 quỹ đạo điều khiển từ xa của con người cho mỗi tác vụ tầm ngắn và 100 quỹ đạo cho mỗi tác vụ dài hạn (Phụ lục C.2). Để bảo đảm so sánh công bằng, chúng tôi cấp cho mọi phương pháp cùng một ngân sách thích nghi là 50 lượt chạy mỗi tác vụ, không tính dữ liệu trình diễn của người. Mỗi baseline trực tuyến dùng toàn bộ ngân sách này để huấn luyện, còn REPAIR phân bổ nó cho cả việc huấn luyện chuyên gia lẫn chưng cất. Cụ thể, trước hết chúng tôi huấn luyện một chuyên gia RLT làm thầy, ký hiệu RLT∗, với 30 quỹ đạo trực tuyến mỗi tác vụ. Sau đó, giữ cố định checkpoint này và thu thêm 10 quỹ đạo có chuyên gia hỗ trợ cho chưng cất ngoại tuyến, rồi 10 quỹ đạo do VLA học trò tự sinh cho chưng cất on-policy. Như vậy, tính cả huấn luyện chuyên gia và thu thập dữ liệu cho hai giai đoạn chưng cất, REPAIR dùng đúng tổng cộng 50 quỹ đạo thích nghi mỗi tác vụ như các baseline. Sau chưng cất, REPAIR chỉ triển khai VLA đã được sửa chữa, không có chuyên gia tiếp quản hay lựa chọn hành động dựa trên critic.

¶ 5.4

Metrics. Success rate (SR) is the percentage of evaluation episodes that satisfy the complete task’s success criterion before timeout or a safety abort. Jerk measures motion smoothness through the time derivative of end-effector acceleration. For an episode with T control steps, let xt(r) ∈ ℝ3 be the measured Cartesian position of arm r at time tΔt, with R active arms. We use the mean magnitude of the third-order finite difference:

J = 1R(T − 2) Σr=1R Σt=3T ‖ xt(r) − 3xt−1(r) + 3xt−2(r) − xt−3(r)Δt3 ‖2.(6)

Jerk is computed over each complete successful episode and reported as the mean ± standard deviation across successful evaluation trials, in m s−3.

Chỉ số đánh giá. Tỉ lệ thành công (SR) là phần trăm số lượt đánh giá thỏa mãn tiêu chí thành công của toàn bộ tác vụ trước khi hết thời gian hoặc bị dừng vì lý do an toàn. Độ giật (jerk) đo mức độ mượt của chuyển động thông qua đạo hàm theo thời gian của gia tốc đầu công tác. Với một lượt gồm T bước điều khiển, gọi xt(r) ∈ ℝ3 là vị trí Descartes đo được của cánh tay r tại thời điểm tΔt, với R cánh tay hoạt động; chúng tôi dùng độ lớn trung bình của sai phân hữu hạn bậc ba như Phương trình (6). Độ giật được tính trên từng lượt thành công trọn vẹn và báo cáo dưới dạng trung bình ± độ lệch chuẩn qua các lần đánh giá thành công, đơn vị m s−3.

¶ 5.5

Main comparison. Table 1 shows that REPAIR matches the observed task success of specialist takeover while deploying only a single VLA. Both REPAIR and RLT achieve 30/30 successes on each of the six tasks. RLT converges early in training, with the 30-trajectory RLT∗ teacher performing comparably to the 50-trajectory RLT baseline. We therefore omit a separate entry for RLT∗ in Table 1. The advantage over the other adaptation baselines is most pronounced on long-horizon tasks. EXPO-FT and ConRFT achieve 80.0–100.0% success on the two short-horizon tasks, but neither succeeds on Bagging, Table Clearing, or Drawer under the reported training budgets. HG-DAgger is more competitive on these tasks, yet its aggregate success rate across the four long-horizon tasks is 74.2%, compared with 100.0% for REPAIR, a gap of 25.8 percentage points. Alongside this high task success, REPAIR reduces mean jerk on successful trajectories by 29.8–67.5% relative to RLT across all six tasks. Its jerk values remain close to those of HG-DAgger, which has slightly lower means on four tasks, indicating that the benefit over this imitation baseline lies primarily in higher task success while maintaining a similar level of motion smoothness.

So sánh chính. Bảng 1 cho thấy REPAIR đạt tỉ lệ thành công ngang với cách để chuyên gia tiếp quản, trong khi chỉ triển khai một VLA duy nhất. Cả REPAIR và RLT đều thành công 30/30 trên cả sáu tác vụ. RLT hội tụ sớm trong quá trình huấn luyện: chuyên gia RLT∗ dùng 30 quỹ đạo cho kết quả tương đương với baseline RLT dùng 50 quỹ đạo, nên Bảng 1 không liệt kê RLT∗ riêng. Ưu thế so với các baseline thích nghi khác thể hiện rõ nhất ở các tác vụ dài hạn. EXPO-FT và ConRFT đạt 80,0–100,0% ở hai tác vụ tầm ngắn, nhưng không thành công lần nào ở Đóng túi, Dọn bàn hay Ngăn kéo với ngân sách huấn luyện đã nêu. HG-DAgger cạnh tranh hơn ở các tác vụ này, song tỉ lệ thành công gộp trên bốn tác vụ dài hạn chỉ đạt 74,2%, so với 100,0% của REPAIR — chênh lệch 25,8 điểm phần trăm. Bên cạnh tỉ lệ thành công cao, REPAIR còn giảm độ giật trung bình trên các quỹ đạo thành công từ 29,8% đến 67,5% so với RLT ở cả sáu tác vụ. Độ giật của REPAIR xấp xỉ HG-DAgger — vốn có trung bình thấp hơn đôi chút ở bốn tác vụ — cho thấy ưu thế so với baseline bắt chước này chủ yếu nằm ở tỉ lệ thành công cao hơn, trong khi độ mượt chuyển động ở mức tương đương.

¶ Bảng 1
Table 1: Main results on six real-robot tasks (30 trials per method per task). SR: success rate (%, higher is better). Jerk: mean ± standard deviation over successful trials (m s−3, lower is better), with identical sampling and filtering across methods. Dashes denote no successful trials.
Method Stick P&P Single peg Dual peg Bagging Table clearing Drawer
SR↑ Jerk↓ SR↑ Jerk↓ SR↑ Jerk↓ SR↑ Jerk↓ SR↑ Jerk↓ SR↑ Jerk↓
Base SFT (π0.5) 30.0 4.2±1.2 33.3 3.3±0.5 0.0 – 13.3 4.7±0.9 20.0 4.7±0.8 0.0 –
RLT 100.0 15.7±2.0 100.0 4.7±0.8 100.0 10.3±0.9 100.0 7.2±0.8 100.0 10.4±2.5 100.0 16.7±5.1
EXPO-FT 80.0 13.5±0.8 93.3 4.2±1.0 33.3 9.0±1.3 0.0 – 0.0 – 0.0 –
ConRFT 93.3 12.8±2.3 100.0 3.9±0.6 20.0 7.1±2.4 0.0 – 0.0 – 0.0 –
HG-DAgger 100.0 5.9±1.2 60.0 3.1±0.6 63.3 6.3±1.1 90.0 4.4±0.8 63.3 4.4±0.6 80.0 10.1±1.8
REPAIR (ours) 100.0 5.1±1.0 100.0 3.3±0.7 100.0 6.5±1.6 100.0 4.6±0.9 100.0 4.5±0.7 100.0 9.9±3.9

Bảng 1: Kết quả chính trên sáu tác vụ robot thực (30 lần thử cho mỗi phương pháp trên mỗi tác vụ). SR: tỉ lệ thành công (%, càng cao càng tốt). Jerk: trung bình ± độ lệch chuẩn trên các lần thử thành công (m s−3, càng thấp càng tốt), với cùng cách lấy mẫu và lọc cho mọi phương pháp. Dấu gạch ngang: không có lần thử thành công nào.

¶ 5.6

We further compare episode lengths on Dual-Arm Peg Insertion to assess whether smoother execution compromises efficiency (Figure 6). Across 30 successful trials per method, REPAIR reduces mean episode length by 4.7%, from 249.7 ± 21.9 to 238.0 ± 9.6 (mean ± SD). Together with 36.9% lower mean jerk (6.5 versus 10.3 m s−3), this indicates smoother execution with shorter, less variable episodes. At a common control timestep, shorter episodes would also imply faster completion. Fewer alignment corrections during controller handoffs or specialist execution may contribute, although this mechanism remains unverified.

Figure 6: Dual-arm peg insertion episode lengths (30 trials per method; 100% success). REPAIR: 238.0 ± 9.6 (median 240); RLT: 249.7 ± 21.9 (median 245).

Chúng tôi so sánh thêm độ dài lượt thực thi trên tác vụ Chèn chốt hai tay để xem việc thực thi mượt hơn có phải đánh đổi bằng hiệu quả hay không (Hình 6). Trên 30 lần thử thành công của mỗi phương pháp, REPAIR rút ngắn độ dài lượt trung bình 4,7%, từ 249,7 ± 21,9 xuống 238,0 ± 9,6 bước (trung bình ± độ lệch chuẩn). Cùng với độ giật trung bình thấp hơn 36,9% (6,5 so với 10,3 m s−3), điều này cho thấy REPAIR thực thi mượt hơn với các lượt ngắn hơn và ít biến động hơn. Với cùng bước thời gian điều khiển, lượt ngắn hơn cũng đồng nghĩa với hoàn thành nhanh hơn. Một nguyên nhân khả dĩ là số lần hiệu chỉnh căn chỉnh giảm đi — vốn phát sinh khi chuyển quyền điều khiển hoặc khi chuyên gia thực thi — dù cơ chế này chưa được kiểm chứng.

Hình 6: Phân bố độ dài lượt ở tác vụ Chèn chốt hai tay (30 lần thử mỗi phương pháp; thành công 100%). REPAIR: 238,0 ± 9,6 (trung vị 240); RLT: 249,7 ± 21,9 (trung vị 245).

6 · Analysis and AblationsPhân tích và thí nghiệm loại trừ (ablation)

¶ 6.0

We ablate two key design choices in REPAIR: which actions the VLA learns from and which states it visits during distillation. The evaluation protocol and metrics follow Section 5.

Chúng tôi tiến hành ablation trên hai lựa chọn thiết kế then chốt của REPAIR: VLA học từ những hành động nào, và VLA đi qua những trạng thái nào trong quá trình chưng cất. Quy trình đánh giá và chỉ số giữ nguyên như Mục 5.

¶ 6.1

RQ1: What supervision should be transferred from a specialist? To isolate the effect of supervision from state coverage and online interaction, we first study this question in an offline setting with a fixed expert buffer 𝒟E. We compare executed specialist actions, one re-queried expert action (N = 1), eight candidates with uniform weights, and the same candidate sets with critic-based weights, keeping Base SFT initialization, observation sampling, noncritical replay supervision, and optimizer-update budgets fixed. Executed-action cloning follows the trajectory-supervision principle shared by RLDG (Xu et al., 2024) and PLD (Xiao et al., 2025): SFT on recorded specialist actions. It achieves 60.0% success with the highest mean jerk, 11.1 (Table 2). Consistent with Section 3, this suggests that limited-data cloning can overfit abrupt, aggressive RLT corrections alongside useful task behavior. Re-querying one action improves success to 66.7% and lowers jerk to 9.2, while uniform supervision over eight candidates reaches 76.7% and 7.28, respectively, suggesting a benefit from broader expert action support. Critic weighting of the same eight candidates further improves success to 90.0% and lowers jerk to 6.7. Relative to executed-action cloning, this is a gain of 30.0 percentage points in success rate and a 39.6% reduction in mean jerk on successful trials, supporting the use of multiple expert alternatives with value-based preferences.

Table 2: Which actions to learn. Supervision targets on fixed specialist states (Dual Peg; 30 trials). SR in %; jerk: mean ± SD over successful trials (m s−3).
Action targets N SR↑ Jerk↓
Executed actions – 60.0 11.1±1.1
Re-queried action 1 66.7 9.2±0.8
Uniform candidates 8 76.7 7.28±1.3
Value-weighted candidates 8 90.0 6.7±1.1

RQ1: Nên chuyển giao loại giám sát nào từ chuyên gia? Để tách tác động của tín hiệu giám sát khỏi độ phủ trạng thái và tương tác trực tuyến, chúng tôi xét câu hỏi này trước tiên trong bối cảnh ngoại tuyến với bộ đệm chuyên gia 𝒟E cố định. Bốn biến thể được so sánh: hành động chuyên gia đã thực thi; một hành động được truy vấn lại (N = 1); tám ứng viên với trọng số đồng đều; và cùng tám ứng viên đó nhưng trọng số theo critic. Khởi tạo Base SFT, cách lấy mẫu quan sát, giám sát phát lại cho pha không then chốt và ngân sách cập nhật tối ưu đều được giữ cố định. Nhân bản hành động đã thực thi tuân theo nguyên tắc giám sát bằng quỹ đạo mà RLDG (Xu và cs., 2024) và PLD (Xiao và cs., 2025) cùng dùng: SFT trên hành động chuyên gia được ghi lại. Biến thể này đạt 60,0% với độ giật trung bình cao nhất, 11,1 (Bảng 2). Nhất quán với Mục 3, điều đó gợi ý rằng nhân bản trên lượng dữ liệu hạn chế có thể quá khớp với những hiệu chỉnh đột ngột, mạnh tay của RLT cùng với hành vi hữu ích. Truy vấn lại một hành động nâng tỉ lệ thành công lên 66,7% và giảm độ giật xuống 9,2; giám sát đồng đều trên tám ứng viên đạt lần lượt 76,7% và 7,28 — cho thấy lợi ích của việc mở rộng độ phủ hành động chuyên gia. Gán trọng số theo critic cho cùng tám ứng viên nâng tiếp tỉ lệ thành công lên 90,0% và giảm độ giật xuống 6,7. So với nhân bản hành động đã thực thi, đây là mức tăng 30,0 điểm phần trăm về tỉ lệ thành công và giảm 39,6% độ giật trung bình trên các lượt thành công, ủng hộ việc dùng nhiều phương án chuyên gia kèm ưu tiên dựa trên giá trị.

Bảng 2: Học từ hành động nào — các mục tiêu giám sát trên tập trạng thái chuyên gia cố định (Chèn chốt hai tay; 30 lần thử).

¶ 6.2

To further evaluate value-refined action supervision during on-policy repair, we initialize all variants from the same VLA checkpoint obtained using REPAIR’s offline training recipe. We compare value weighting with online critic updates, value weighting with a frozen critic, and uniform weighting of expert candidates. The latter two variants initially preserve the offline policy’s performance but gradually degrade with continued training. Online critic updates progressively improve success to 100% and sustain this level. These trends suggest that adapting the critic to student-visited states helps maintain effective supervision during on-policy repair.

Để đánh giá sâu hơn vai trò của giám sát hành động tinh lọc theo giá trị trong giai đoạn sửa chữa on-policy, chúng tôi khởi tạo mọi biến thể từ cùng một checkpoint VLA thu được theo quy trình huấn luyện ngoại tuyến của REPAIR, rồi so sánh ba cách: trọng số theo giá trị với critic được cập nhật trực tuyến, trọng số theo giá trị với critic đóng băng, và trọng số đồng đều cho các ứng viên chuyên gia. Hai biến thể sau ban đầu giữ được hiệu năng của chính sách ngoại tuyến nhưng suy giảm dần khi tiếp tục huấn luyện. Trong khi đó, cập nhật critic trực tuyến giúp tỉ lệ thành công tăng dần lên 100% và duy trì ở mức này. Các xu hướng trên gợi ý rằng việc thích nghi critic với những trạng thái mô hình học đi qua giúp duy trì hiệu quả của tín hiệu giám sát trong quá trình sửa chữa on-policy.

¶ 6.3

RQ2: Where do the gains from on-policy distillation come from? To test whether on-policy gains simply reflect more data, we compare larger offline specialist buffers with on-policy distillation on Dual Peg and Table Clearing (Table 3). All variants use 100 human demonstrations per task for SFT initialization and the same multi-candidate value-weighted supervision. At 20 total rollouts, offline distillation achieves 90.0% and 80.0% success on Dual Peg and Table Clearing, respectively, compared with 100.0% on both tasks for REPAIR’s 10 specialist plus 10 student rollouts. This contrast supports a benefit from labeling learner-visited states beyond increasing trajectory count. Expanding offline buffers from 10 to 50 rollouts raises success from 90.0% to 100.0% and from 73.3% to 90.0%, respectively. The largest offline buffer thus matches on-policy performance on Dual Peg but remains 10 percentage points lower on Table Clearing, using 40 extra specialist rollouts versus 10 student rollouts. The pattern is consistent with a coverage-based explanation: larger specialist buffers may cover more recovery states, whereas on-policy distillation directly labels deviations produced as the student’s execution errors accumulate.

Table 3: Which states to visit. Specialist versus student rollouts under fixed action supervision (30 trials per task; SR in %).
Variant Specialist Student Dual peg Table clearing
Offline 10 0 90.0 73.3
Offline 20 0 90.0 80.0
Offline 30 0 93.3 83.3
Offline 50 0 100.0 90.0
REPAIR 10 10 100.0 100.0

RQ2: Lợi ích của chưng cất on-policy đến từ đâu? Để kiểm tra liệu lợi ích của on-policy có đơn thuần đến từ việc có nhiều dữ liệu hơn hay không, chúng tôi so sánh việc mở rộng bộ đệm chuyên gia ngoại tuyến với chưng cất on-policy trên hai tác vụ Chèn chốt hai tay và Dọn bàn (Bảng 3). Mọi biến thể đều dùng 100 trình diễn của người cho mỗi tác vụ để khởi tạo SFT và cùng một cơ chế giám sát nhiều ứng viên trọng số theo giá trị. Với tổng cộng 20 lượt chạy, chưng cất ngoại tuyến đạt 90,0% và 80,0% lần lượt trên Chèn chốt hai tay và Dọn bàn, trong khi REPAIR — với 10 lượt chuyên gia và 10 lượt học trò — đạt 100,0% trên cả hai. Sự tương phản này ủng hộ nhận định rằng việc gán nhãn cho các trạng thái mà mô hình học đi qua mang lại lợi ích vượt lên trên việc đơn thuần tăng số quỹ đạo. Mở rộng bộ đệm ngoại tuyến từ 10 lên 50 lượt nâng tỉ lệ thành công từ 90,0% lên 100,0% và từ 73,3% lên 90,0%. Như vậy, bộ đệm ngoại tuyến lớn nhất bắt kịp hiệu năng on-policy ở Chèn chốt hai tay nhưng vẫn thấp hơn 10 điểm phần trăm ở Dọn bàn, dù dùng thêm 40 lượt chuyên gia so với chỉ 10 lượt học trò. Mô hình này phù hợp với một cách giải thích dựa trên độ phủ: bộ đệm chuyên gia lớn hơn có thể bao quát thêm các trạng thái phục hồi, còn chưng cất on-policy thì trực tiếp gán nhãn cho những sai lệch phát sinh khi lỗi thực thi của học trò tích tụ.

Bảng 3: Nên đi qua trạng thái nào — so sánh lượt chạy của chuyên gia với lượt chạy của học trò dưới cùng một cơ chế giám sát hành động (30 lần thử mỗi tác vụ; SR tính bằng %).

7 · ConclusionKết luận

¶ 7.1

We presented REPAIR, which distills local RL expertise into a single VLA using critic-weighted expert action candidates. A shared flow-matching objective supports offline initialization and on-policy refinement on learner-visited states, with specialists providing supervision without takeover. Across six real-robot tasks, REPAIR achieves 100% success on all six tasks, matching the observed success rates of specialist takeover while reducing mean end-effector jerk on successful trajectories by 29.8–67.5%. Ablations support multiple expert candidates with critic-based weighting, and data-scaling results favor on-policy supervision at matched rollout counts on the analyzed tasks. Training still relies on phase annotations, and critic rankings on learner states need direct validation. These findings support transferring specialists’ critical skills into the VLA while removing auxiliary controllers at deployment.

Chúng tôi đã giới thiệu REPAIR, phương pháp chưng cất kinh nghiệm RL cục bộ vào một VLA duy nhất bằng các ứng viên hành động chuyên gia được critic gán trọng số. Một hàm mục tiêu flow-matching chung phục vụ cả khởi tạo ngoại tuyến lẫn tinh chỉnh on-policy trên các trạng thái mà mô hình học đi qua, trong đó chuyên gia chỉ cung cấp tín hiệu giám sát chứ không tiếp quản. Trên sáu tác vụ robot thực, REPAIR đạt thành công 100% ở cả sáu, ngang với tỉ lệ quan sát được khi để chuyên gia tiếp quản, đồng thời giảm độ giật trung bình của đầu công tác trên các quỹ đạo thành công từ 29,8% đến 67,5%. Các thí nghiệm ablation ủng hộ việc dùng nhiều ứng viên chuyên gia với trọng số theo critic, và kết quả mở rộng dữ liệu cho thấy giám sát on-policy có ưu thế khi số lượt chạy được cân bằng, trên các tác vụ đã phân tích. Việc huấn luyện vẫn phụ thuộc vào nhãn pha, và thứ hạng mà critic gán trên các trạng thái của mô hình học vẫn cần được kiểm chứng trực tiếp. Những phát hiện này ủng hộ hướng chuyển giao kỹ năng then chốt của chuyên gia vào VLA, đồng thời loại bỏ bộ điều khiển phụ trợ khi triển khai.

Appendix C.2 · Demonstration Scaling and SFT BudgetsPhụ lục C.2 — Mở rộng dữ liệu trình diễn và ngân sách SFT

¶ C.2.1

Increasing the number of human demonstrations does not necessarily resolve the difficult behaviors in these tasks. Table 6 examines whether increasing teleoperation data resolves failures on two difficult long-horizon tasks using human-only SFT, without specialist distillation. Dual-Arm Peg Insertion remains at 0% success with 50, 100, 200, and 300 demonstrations: even a sixfold increase yields no successful evaluation episodes under the tested SFT setup. This task’s difficulty therefore persists despite substantial data expansion. Bimanual Table Clearing benefits from additional data, but with diminishing observed gains: 100, 150, and 300 demonstrations yield 20.0%, 26.7%, and 30.0% success. The first 50 additional trajectories add 6.7 percentage points, whereas the next 150 add only 3.3 points.

Table 6: Human-only SFT scaling on two long-horizon tasks (30 evaluation trials per setting). SR in %; dashes denote untested settings.
Human trajectories Dual peg SR↑ Table clearing SR↑
50 0.0 –
100 0.0 20.0
150 – 26.7
200 0.0 –
300 0.0 30.0

Tăng số lượng trình diễn của con người không nhất thiết giải quyết được những hành vi khó trong các tác vụ này. Bảng 6 xem xét liệu việc bổ sung dữ liệu điều khiển từ xa có khắc phục được thất bại ở hai tác vụ dài hạn khó hay không, chỉ dùng SFT trên dữ liệu người và không có chưng cất chuyên gia. Với tác vụ Chèn chốt hai tay, tỉ lệ thành công vẫn là 0% ở cả 50, 100, 200 và 300 trình diễn: ngay cả khi tăng gấp sáu lần, thiết lập SFT đã thử vẫn không có lượt đánh giá nào thành công. Độ khó của tác vụ này vì thế vẫn tồn tại bất chấp việc mở rộng dữ liệu đáng kể. Tác vụ Dọn bàn hai tay có hưởng lợi từ dữ liệu bổ sung, nhưng mức cải thiện quan sát được giảm dần: 100, 150 và 300 trình diễn cho tỉ lệ thành công lần lượt 20,0%, 26,7% và 30,0%. 50 quỹ đạo bổ sung đầu tiên đem lại thêm 6,7 điểm phần trăm, trong khi 150 quỹ đạo tiếp theo chỉ thêm 3,3 điểm.

Bảng 6: Mở rộng SFT chỉ với dữ liệu người trên hai tác vụ dài hạn (30 lần đánh giá mỗi cấu hình; dấu gạch ngang: cấu hình không được thử).

¶ C.2.2

These results motivate keeping demonstration budgets fixed within each task-horizon group instead of continually expanding datasets for difficult tasks. For SFT initialization in the main experiments, we use 50 human-teleoperated trajectories per short-horizon task and 100 per long-horizon task. The budget is identical across methods for each task, with subsequent adaptation addressing the remaining precision-critical failures. Both tasks in Table 6 are long-horizon tasks; buffer sizes other than 100 trajectories are supplementary scaling controls.

Những kết quả này là cơ sở để giữ cố định ngân sách trình diễn trong từng nhóm tác vụ theo độ dài, thay vì liên tục mở rộng tập dữ liệu cho các tác vụ khó. Ở bước khởi tạo SFT trong các thí nghiệm chính, chúng tôi dùng 50 quỹ đạo điều khiển từ xa cho mỗi tác vụ tầm ngắn và 100 quỹ đạo cho mỗi tác vụ dài hạn. Ngân sách này giống nhau cho mọi phương pháp trên cùng một tác vụ; các bước thích nghi tiếp theo đảm nhận việc khắc phục những thất bại còn lại ở các pha đòi hỏi chính xác. Cả hai tác vụ trong Bảng 6 đều thuộc nhóm dài hạn; các kích thước bộ đệm khác 100 quỹ đạo chỉ là phép đối chứng bổ sung về khả năng mở rộng.

Ghi chú: Phụ lục A (thiết lập robot Franka), B (chi tiết cài đặt REPAIR/RLT, siêu tham số, công thức TD và actor) và C.1 (mô tả chi tiết từng tác vụ, kiểu thất bại) chủ yếu là chi tiết kỹ thuật, không mang chức năng lập luận nên không được chú giải từng đoạn; những điểm liên quan (critic dùng min của hai target critic, τ = 0,1, N = 8, can thiệp người khi huấn luyện RLT) đã được dẫn trong các thẻ chú giải ở trên.

Tổng quan cấu trúc lập luận

Khung logic của bài báo theo chuỗi Vấn đề → Luận điểm → Bằng chứng → Phản bác → Kết luận

① Vấn đề

VLA hỏng ở pha chính xác; các lối thoát hiện có đều có giá
  • Thêm demo người: lợi ích giảm dần (C.2)
  • RL toàn VLA: bất ổn, khó phân bổ trách nhiệm
  • Chuyên gia cục bộ (RLT): học tốt nhưng phải “vá” khi triển khai, giật
¶1.1–1.3 · §2 · §3

② Luận điểm

Chưng cất ngây thơ thất bại do hai “khoảng trống”
  • Action-support gap → nhiều ứng viên + trọng số critic (Pt. 1–4)
  • State-support gap → sửa chữa on-policy, chuyên gia không tiếp quản
  • Một hàm mục tiêu cho cả hai giai đoạn; chỉ triển khai VLA
¶1.4 · §4.1–4.3

③ Bằng chứng

6 tác vụ robot thật × 30 lần thử
  • SR 100% ở cả 6 (= RLT; ≫ EXPO-FT, ConRFT; +25,8 điểm so với HG-DAgger ở tác vụ dài)
  • Jerk −29,8% đến −67,5% so với RLT
  • Lượt ngắn hơn 4,7%, ít biến động hơn
§5 · Bảng 1 · Hình 6

④ Phản bác

Loại trừ các giải thích đối lập
  • “Do nhiều dữ liệu hơn?” → ngân sách 50 cân bằng; 10+10 on-policy > 50 offline (Bảng 3)
  • “Chỉ cần nhãn chuyên gia?” → 60 → 66,7 → 76,7 → 90% (Bảng 2)
  • “Mượt vì chậm?” → không, nhanh hơn
  • Nhượng bộ: HG-DAgger mượt ngang; critic cần cập nhật
§5.3 · §6 · ¶5.5–5.6

⑤ Kết luận

Có thể “hấp thụ” chuyên gia RL vào VLA và bỏ miếng vá
  • Giữ SR của chuyên gia, mượt hơn, một mô hình duy nhất
  • Hạn chế thừa nhận: cần nhãn pha; thứ hạng critic chưa kiểm chứng trực tiếp
§7

Luận điểm trung tâm trong một câu

Thay vì giữ các chuyên gia RL cục bộ như những “miếng vá” khi triển khai, ta có thể chưng cất chúng vào chính VLA — bằng cách cho VLA học từ nhiều ứng viên hành động được critic gán trọng số, trên cả những trạng thái do chính VLA gây ra — để thu được một chính sách duy nhất vừa thành công như chuyên gia vừa mượt hơn.

✔ Điểm mạnh nhất

Sự ăn khớp giữa chẩn đoán, thiết kế và ablation. Hai khoảng trống (action-/state-support) được quan sát ở Mục 3, đặt tên ở Mục 4.1, giải quyết bằng hai thành phần riêng ở Mục 4.3 và kiểm chứng tách biệt bằng hai ablation có kiểm soát ở Mục 6. Đặc biệt Bảng 2 là một ablation lũy tiến bốn bậc mà mỗi bậc cải thiện đơn điệu cả tỉ lệ thành công (60 → 66,7 → 76,7 → 90%) lẫn độ giật (11,1 → 6,7), trong khi giữ cố định khởi tạo, cách lấy mẫu và ngân sách tối ưu — bằng chứng nhân quả rõ ràng cho đóng góp cốt lõi “nhiều ứng viên + trọng số critic”.

✘ Điểm yếu nhất

Kết quả chính bị hiệu ứng trần và mỏng về thống kê. REPAIR và RLT cùng đạt 30/30 trên mọi tác vụ, nên bằng chứng chính không thể phân biệt chúng về độ bền vững — ưu thế còn lại chỉ là jerk, vốn chỉ đo trên lượt thành công và chồng lấn độ lệch chuẩn ở một số tác vụ (Drawer). Các ablation chỉ trên 1–2 tác vụ với khác biệt vài lượt thử, không có khoảng tin cậy; phát hiện về cập nhật critic online (¶6.2) không kèm con số nào. Thêm vào đó, chi phí ẩn — huấn luyện chuyên gia có can thiệp người và nhãn pha thủ công — khiến phép so sánh “ngân sách 50 quỹ đạo” kém cân bằng hơn vẻ ngoài.