面向视觉问答的差分注意力

在本文中，我们旨在基于图像回答问题，训练时给定若干图像的问题-答案对数据集。许多方法通过基于图像的注意力来解决此问题，即在回答问题时聚焦于图像的特定区域。人类在解决该问题时也会如此。然而，先前系统所关注的区城与人类关注的区城并不相关，这一缺陷限制了准确率。本文提出使用基于样本的方法来解决这个问题。我们获取一个或多个支持性与对立性样本，从而得到差分注意力区域。该差分注意力比其他基于图像的注意力方法更接近人类注意力，同时有助于在回答问题时获得更高的准确率。该方法在具有挑战性的基准数据集上进行了评估。我们的表现优于其他基于图像的注意力方法，并与同时关注图像与问题的其他最先进方法具有竞争力。