基于循环双注意力机制的多步推理视觉对话方法
计算机视觉与模式识别
2019-06-05 v2 计算与语言
摘要
本文提出一种用于视觉对话的新模型——循环双注意力网络（Recurrent Dual Attention Network, ReDAN），利用多步推理来回答关于图像的一系列问题。在对话的每一问答轮次中，ReDAN 通过多个推理步骤逐步推断答案。在推理过程的每一步中，问题的语义表示基于图像和先前的对话历史进行更新，并且经循环精炼的表示被用于后续步骤中的进一步推理。在 VisDial v1.0 数据集上，所提出的 ReDAN 模型取得了 64.47% NDCG 分数的新最优（state-of-the-art, SOTA）结果。对推理过程的可视化进一步表明，ReDAN 能够通过迭代精炼定位与上下文相关的视觉和文本线索，从而逐步得出正确答案。
引用
@article{arxiv.1902.00579,
title = {Multi-step Reasoning via Recurrent Dual Attention for Visual Dialog},
author = {Zhe Gan and Yu Cheng and Ahmed El Kholy and Linjie Li and Jingjing Liu and Jianfeng Gao},
journal= {arXiv preprint arXiv:1902.00579},
year = {2019}
}
备注
Accepted to ACL 2019