多模态嵌入流水线中的全网络嵌入

当前图像标注与图像检索任务的最先进性能是通过深度神经网络获得的，这类网络将图像表示与文本表示组合到一个共享嵌入空间中。本文评估了在此设置下使用全网络嵌入（Full-Network embedding）替代原有图像表示对一种有竞争力的多模态嵌入生成方案的影响。与大多数方法通常使用的单层图像嵌入不同，全网络嵌入提供了图像的多尺度表示，从而产生更丰富的特征刻画。为衡量全网络嵌入的影响，我们在三个不同数据集上评估其性能，并将结果与使用单层图像嵌入的原始多模态嵌入生成方案以及其他最先进方法进行比较。图像标注与图像检索任务的结果表明，全网络嵌入始终优于单层嵌入。这些结果推动了将全网络嵌入集成到任何多模态嵌入生成方案中，得益于该方法的灵活性，这一集成是可行的。