遥操作期间基于多模态神经网络力估计的实时触觉反馈特性表征

使用神经网络进行力估计是一种有前景的方法，可在无末端执行器力传感器的微创外科机器人中实现触觉反馈。已有多种网络架构被提出，但均未在具有外科式操作的实时环境中测试。因此，关于基于神经网络的力估计所提供力反馈的实时透明度与稳定性仍存疑问。我们利用仅视觉、仅状态以及状态与视觉输入的神经网络，在 da Vinci Research Kit 遥操作外科机器人上表征了所渲染力反馈的实时阻抗透明度与稳定性。网络在已有的无 Force 反馈遥操作操作数据集上训练。为测量向操作者提供力反馈时遥操作期间的实时稳定性与透明度，我们建立了一自由度人与外科侧操纵杆模型，其移动患者侧机器人以在各种机器人与相机配置及工具下对硅胶人工组织进行操作。我们发现，使用状态输入的网络比仅视觉网络展现出更透明的阻抗。然而，状态基网络在对硅胶进行侧向操作时提供力反馈显示出较大不稳定性。相比之下，仅视觉网络在所有评估方向上均表现出一致稳定性。我们在人类遥操作者的演示中确认了仅视觉网络用于实时力反馈的性能。