用双向网络连接图像与文本

连接两个数据源是众多计算机视觉问题中的基本构建模块。典型相关分析（CCA）通过利用线性优化器最大化两个视图之间的相关性来实现这一点。近期工作使用了非线性模型，包括深度学习技术，在某个特征空间中优化 CCA 损失。本文中，我们引入了一种新颖的双向神经网络架构，用于匹配来自两个数据源的向量。我们的方法采用两个绑定的神经网络通道，使用欧几里得损失将两个视图投影到一个共同的、最大化相关的空间中。我们展示了基于相关性的损失与欧几里得损失之间的直接联系，从而能够使用欧几里得损失进行相关性最大化。为了克服常见的欧几里得回归优化问题，我们将批归一化和 dropout 等众所周知的技术改进后应用于我们的问题。我们在多个计算机视觉匹配任务上展示了最先进的结果，包括 MNIST 图像匹配以及 Flickr8k、Flickr30k 和 COCO 数据集上的句子-图像匹配。