基于视觉与机器人状态的深度学习用于机器人辅助手术中的力估计

在遥操作机器人辅助手术中，交互力的知识可用于向人类操作者提供力反馈并评估组织操作技巧。然而，在末端执行器处直接进行力感知具有挑战性，因为这需要生物相容、可灭菌且具成本效益的传感器。使用卷积神经网络的基于视觉的深度学习是一种提供有用力估计的有前景的方法，但其在新场景的泛化能力和实时推理方面仍存在疑问。我们提出了一种以 RGB 图像和机器人状态作为输入的力估计神经网络。利用自采集数据集，我们将该网络与仅含单一输入类型的变体进行比较，并评估它们对新视角、工作空间位置、材料和工具的泛化能力。我们发现基于视觉的网络对视角变化敏感，而仅状态网络对工作空间变化具有鲁棒性。具有状态和视觉两种输入的网络对未见工具具有最高精度，并对视角变化具有中等鲁棒性。通过特征剔除研究，我们发现仅使用位置特征比仅使用力特征作为输入获得更好的精度。具有状态和视觉两种输入的网络的精度优于基于物理的基线模型。其精度与基线循环神经网络相当，但计算时间更快，因此更适用于实时应用。