基于合成训练的抓取预形状选择：Hannes prosthesis上的眼在手共享控制

我们考虑使用具备多种抓取类型的假手进行物体抓取的任务。在此设定下，传达预期抓取类型常带来较高的用户认知负荷，可采用共享自治框架降低该负荷。其中，所谓眼在手（eye-in-hand）系统基于腕部相机视觉输入在抓取前自动控制手部预成形。本文提出一种基于学习的眼在手方法，从RGB序列中进行手部预形状分类。与以往工作不同，我们将系统设计为支持以不同抓取类型抓取每个被考虑物体部位的可能性。为克服此类数据匮乏并减少训练系统所需的繁琐数据采集，我们设计了一条渲染手部轨迹合成视觉序列的流程。我们开发了带传感器的装置以获取真实人类抓取序列用于基准测试，并表明在实际用例上比较时，用我们的合成数据集训练的模型比用真实数据训练的模型获得更好的泛化性能。我们最终将模型集成于Hannes假手并展示其实用有效性。我们公开了用于复现所述结果的代码与数据集。