基于双向匹配与对象排序的视觉推理
计算与语言
2018-09-07 v2 人工智能
计算机视觉与模式识别
摘要
基于组合自然语言指令的视觉推理（例如基于新发布的Cornell自然语言视觉推理（NLVR）数据集）是一项具有挑战性的任务，模型需要具备在图像中复杂排布的大量对象与多样短语之间建立准确映射的能力。此外，给定三张相似图像中对象的顺序与关系，需对该映射进行处理以回答语句中的问题。本文针对NLVR任务提出一种新颖的端到端神经模型：我们首先使用联合双向注意力在视觉信息与语言短语之间建立双向条件化；接着使用基于RL（强化学习）的指针网络对三张图像中数量不定的无序对象进行排序与处理（以匹配语句短语的顺序），然后对三个决策进行池化。我们的模型在该数据集的结构化表示与原始图像版本上均取得了比SOTA（当前最优）强4-6%绝对值的提升。
引用
@article{arxiv.1804.06870,
title = {Object Ordering with Bidirectional Matchings for Visual Reasoning},
author = {Hao Tan and Mohit Bansal},
journal= {arXiv preprint arXiv:1804.06870},
year = {2018}
}
备注
NAACL 2018 (8 pages; added pointer-ordering examples)