基于序列图像的注意力网络在无触觉传感器力估计推断中的应用

人类仅从视觉信息就能推断物体间的近似交互力，因为我们已经通过经验学会了这一点。基于这一思想，我们提出一种基于循环卷积神经网络的方法，利用序列图像在无触觉传感器的情况下推断交互力。为训练和验证深度学习方法，我们通过基于电子马达的装置收集了大量图像及相应的交互力。为聚焦于图像中由外力引起的目标物体形状变化，我们提出一种基于序列图像的注意力模块，该模块从时间动态中学习显著模型。所提出的基于序列图像的注意力模块由序列空间注意力模块和序列通道注意力模块组成，二者被扩展以利用多帧序列图像。为获得更好精度，我们还为空间和通道注意力模块创建了加权平均池化层。大量实验结果验证了所提方法在各种条件下（如不同目标材料、光照变化和外力方向）能成功推断交互力。