用于自然语言查询视觉定位与检测的判别式双模态网络
计算机视觉与模式识别
2017-04-18 v2 机器学习
摘要
将图像区域与文本查询相关联近来被探索作为连接视觉与语言表征的一种新方式。一些基于生成式训练的循环神经语言模型（例如生成图像描述）的先驱方法被提出，但获得的定位精度有限。为了更好地解决基于自然语言的视觉实体定位问题，我们提出了一种判别式方法。我们构建了判别式双模态神经网络（DBNet），其可通过使用大量负样本的分类器进行训练。我们的训练目标鼓励在单幅图像上更好的定位，纳入广泛范围的文本短语，并将图像区域与文本短语恰当配对为正例和负例。在 Visual Genome 数据集上的实验表明，所提出的 DBNet 在单图像定位和多发图像检测上都显著优于先前的最先进方法。我们还建立了自然语言视觉检测的评估协议。
引用
@article{arxiv.1704.03944,
title = {Discriminative Bimodal Networks for Visual Localization and Detection with Natural Language Queries},
author = {Yuting Zhang and Luyao Yuan and Yijie Guo and Zhiyuan He and I-An Huang and Honglak Lee},
journal= {arXiv preprint arXiv:1704.03944},
year = {2017}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017