成功的感觉：触觉感知是否有助于预测抓取结果？

成功的抓取需要仔细平衡接触力。因此，从视觉等间接测量推断特定抓取是否会成功颇具挑战性，而通过触觉感知直接感知接触为更成功、更一致的机器人抓取提供了诱人途径。然而，为了充分评估触觉感知对抓取结果预测的价值，我们必须理解当与其他模态结合时，触觉感知如何影响结果预测精度。使用传统的基于模型的技术来做到这一点极其困难。在本工作中，我们在一个结合视觉与触觉的多模态感知框架内，研究触觉感知是否有助于预测抓取结果这一问题。为此，我们使用每个手指配备GelSight高分辨率触觉传感器的双指夹爪收集了超过9000次抓取试验，并评估了视觉-触觉深度神经网络模型，以从任一单独模态以及从两种模态共同直接预测抓取结果。我们的实验结果表明，融入触觉读数可大幅提高抓取性能。