Hand-in-the-Loop：通过无缝手臂干预提升灵巧操控VLA策略
机器人学
2026-05-21 v2 机器学习
摘要
视觉语言动作（VLA）模型在灵巧操控中容易出现累积误差，其中高维动作空间和接触丰富动力学会放大小策略偏差在长时间段。虽然交互式模仿学习（IIL）可以通过人类纠正数据来细化策略，但应用于高自由度（DoF）机器人手仍具有挑战，因为人类遥操作与策略执行时的干预时机之间存在命令不匹配，这会导致机器人手配置的突变，或“手势跳跃”。我们提出了Hand-in-the-Loop（HandITL），一种无缝的人类在环干预方法，通过融合人类纠正意图与自主策略执行以避免灵巧双手操控中的手势跳跃。相对于使用直接遥操作接管控制，HandITL在干预抖动上降低了99.8%，并保持稳健的干预后操控，使抓握失败减少87.5%，平均完成时间缩短19.1%。我们在需要双手协调、工具使用和细致长期操控的任务上验证了HandITL。当用于收集纠正数据进行策略细化时，HandITL收集的策略在三个长期灵巧任务上的平均性能提升19%。
引用
@article{arxiv.2605.15157,
title = {Hand-in-the-Loop: Improving VLA Policies for Dexterous Manipulation via Seamless Hand-Arm Intervention},
author = {Zhuohang Li and Liqun Huang and Wei Xu and Zhengming Zhu and Nie Lin and Xiao Ma and Xinjun Sheng and Ruoshi Wen},
journal= {arXiv preprint arXiv:2605.15157},
year = {2026}
}