通过提出判别性问题学习消歧
计算机视觉与模式识别
2017-08-10 v1
摘要
提问是收集信息以了解世界和消除歧义的有力工具。在本文中，我们探索了生成判别性问题以帮助消除视觉实例歧义的新问题。我们的工作可以看作是对图像描述和问答方面丰富研究工作的补充和新扩展。我们引入了第一个包含超过 10,000 个精心标注的图像-问题元组的大规模数据集，以促进基准测试。具体而言，每个元组平均包含一对图像和 4.6 个判别性问题（作为正样本）以及 5.9 个非判别性问题（作为负样本）。此外，我们提出了一种有效的视觉判别性问题生成方法。该方法可以在没有判别性图像-问题元组的情况下，仅使用现有的视觉问答数据集以弱监督方式进行训练。通过定量评估和用户研究，展示了该方法相对于代表性基线的良好结果。
引用
@article{arxiv.1708.02760,
title = {Learning to Disambiguate by Asking Discriminative Questions},
author = {Yining Li and Chen Huang and Xiaoou Tang and Chen-Change Loy},
journal= {arXiv preprint arXiv:1708.02760},
year = {2017}
}
备注
14 pages, 12 figures, ICCV2017