基于共享自主性的端到端灵巧手臂-手部VLA策略：通过VR远程操控实现高效数据收集
机器人学
2025-12-16 v2 人工智能
摘要
实现类人灵巧操作仍是通用机器人的主要挑战。虽然视觉语言动作（VLA）模型在演示学习中显示出潜力，但其可扩展性受限于稀缺的高质量训练数据。现有数据收集方法面临内在限制：手动远程操控使人类操作员负担过重，而自动规划常产生不自然的动作。我们提出一种共享自主性框架，将控制分为宏观和微观运动。人类操作员通过直观的VR远程操控指导机器人手臂姿态，而自主DexGrasp-VLA策略则利用实时触觉和视觉反馈处理手部细粒度控制。这种划分显著降低了认知负荷，使能够高效收集高质量的协调式手臂-手部演示。在此数据基础上，我们训练了增强了Arm-Hand特征增强模块的端到端VLA策略，该模块捕捉宏观和微观运动的独特与共享表征，以实现更自然的协调。我们的纠正性远程操控系统使策略能够通过人类在环故障恢复实现持续改进。实验表明，该框架以最小的人力投入生成高质量数据，实现了80%以上多样化物体的成功率，包括未见过的实例。全面评估验证了该系统在发展灵巧操作能力方面的有效性。
引用
@article{arxiv.2511.00139,
title = {End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection},
author = {Yu Cui and Yujian Zhang and Lina Tao and Yang Li and Xinyu Yi and Zhibin Li},
journal= {arXiv preprint arXiv:2511.00139},
year = {2025}
}