KineDex：通过动觉示教学习触觉信息引导的视觉运动策略以实现灵巧操作
机器人学
2025-05-06 v1
摘要
收集富含细粒度触觉信息的演示对于灵巧操作至关重要，尤其是在需要精确力控制和物理交互的接触密集型任务中。先前的工作主要集中于遥操作或基于视频的重定向，但它们常常受到运动学不匹配和缺乏实时触觉反馈的困扰，阻碍了高保真触觉数据的获取。为了缓解这个问题，我们提出了KineDex，一种手把手式的动觉示教范式，其中操作者的运动被直接传递给灵巧手，从而能够收集富含精确触觉反馈的物理真实演示。为了解决人手的遮挡问题，我们应用了图像修复技术来预处理视觉观测。基于这些演示，我们随后使用触觉增强的输入训练一个视觉运动策略，并在部署期间实施力控制以实现精确的接触密集型操作。我们在一系列具有挑战性的接触密集型操作任务上评估了KineDex，包括特别困难的场景，例如将牙膏挤到牙刷上，这需要精确的多指协调和稳定的力调节。在这些任务中，KineDex取得了74.4%的平均成功率，比没有力控制的变体提高了57.7%。与遥操作的对比实验和用户研究进一步验证了KineDex在数据收集效率和可操作性方面的优势。具体而言，在两个不同难度的任务中，KineDex收集数据的速度是遥操作的两倍多，同时保持了接近100%的成功率，而遥操作的成功率低于50%。
引用
@article{arxiv.2505.01974,
title = {KineDex: Learning Tactile-Informed Visuomotor Policies via Kinesthetic Teaching for Dexterous Manipulation},
author = {Di Zhang and Chengbo Yuan and Chuan Wen and Hai Zhang and Junqiao Zhao and Yang Gao},
journal= {arXiv preprint arXiv:2505.01974},
year = {2025}
}