邻里监视：通过语言引导图注意力网络进行指代表达理解
计算机视觉与模式识别
2018-12-13 v1
摘要
指代表达理解中的任务是在图像中定位由自然语言短语所指代的物体实例。作为一个语言到视觉的匹配任务，该问题的关键在于学习能够适应所用表达的描述性物体特征。为避免歧义，表达通常倾向于不仅描述指称对象自身的属性，还描述其与邻域的关系。为捕获并利用这一重要信息，我们提出了一种基于图的语言引导注意力机制。该图注意力机制由节点注意力组件和边注意力组件构成，显式表示物体间关系与属性，具有竞争方法无法企及的灵活性与表达能力。此外，所提图注意力机制使理解决策可可视化且可解释。在三个指代表达理解数据集上的实验显示了所提方法的优势。
引用
@article{arxiv.1812.04794,
title = {Neighbourhood Watch: Referring Expression Comprehension via Language-guided Graph Attention Networks},
author = {Peng Wang and Qi Wu and Jiewei Cao and Chunhua Shen and Lianli Gao and Anton van den Hengel},
journal= {arXiv preprint arXiv:1812.04794},
year = {2018}
}