双向图文检索框架中的半监督短语定位
计算机视觉与模式识别
2019-08-09 v1 图像与视频处理
摘要
我们提出了一种新颖的深度神经网络架构，将视觉区域与包括短语和单词在内的相应文本片段建立关联。为完成此任务，我们的架构利用了多模态数据联合嵌入空间中丰富的语义信息。从该联合嵌入空间中，我们提取自然形成的关联定位图，而在训练过程中并未显式提供定位任务的监督信号。该联合空间通过双向排序目标学习，并使用 -Pair 损失公式进行优化。这一训练机制表明，在优化双向检索目标的同时，定位信息是被内在地学习到的。该模型的检索与定位性能在 MSCOCO 和 Flickr30K Entities 数据集上进行了评估。此架构在半监督短语定位设定下优于当前最优结果。
引用
@article{arxiv.1908.02950,
title = {Semi Supervised Phrase Localization in a Bidirectional Caption-Image Retrieval Framework},
author = {Deepan Das and Noor Mohammed Ghouse and Shashank Verma and Yin Li},
journal= {arXiv preprint arXiv:1908.02950},
year = {2019}
}