及物动作识别中的手-物交互与精确定位

静态图像中的动作识别近年来由于人体姿态估计、物体识别以及深度神经网络产生的更强特征表示而取得重大进展。然而，在许多情况下性能仍远不及人类。一个主要困难在于区分整体执行者姿态相似、因此识别依赖于抓取细节和被严重遮挡物体的及物动作。本文展示了通过获得动作-物体的精确定位并进而提取物体形状细节与执行者-物体交互，如何改进识别。为获得动作物体及其与执行者交互的精确定位，我们采用结合语义分割与上下文特征的由粗到精的方法，分阶段进行。我们关注（但不限于）面部相关动作，这组动作包含若干当前具有挑战性的类别。我们提出了比最先进技术平均相对改进35%，并通过实验验证了方法的有效性。