用于变化描述的邻域对比 Transformer

变化描述(change captioning)是用自然语言描述一对相似图像之间的语义变化。它比通用图像描述更具挑战性，因为需要捕捉细粒度变化信息，同时不受无关视角变化干扰，并解决变化描述中的句法歧义。本文中，我们提出一种邻域对比 Transformer，以提升模型在不同场景下对各种变化的感知能力以及对复杂句法结构的认知能力。具体而言，我们首先设计邻域特征聚合，将邻域上下文整合进每个特征，从而在显著参照物的引导下帮助快速定位不显著变化。然后，我们设计公共特征提取，在邻域层面对两幅图像进行比较并从每幅图像中提取公共属性，从而学习它们之间有效的对比信息。最后，我们引入词与词之间的显式依赖来校准 Transformer 解码器，有助于在训练期间更好地理解复杂句法结构。大量实验结果表明，所提方法在三个具有不同变化场景的公开数据集上取得了最先进(SOTA)性能。代码见 https://github.com/tuyunbin/NCT。