基于广义相似性度量与特征学习的跨域视觉匹配

跨域视觉数据匹配是许多现实世界视觉任务中的基本问题之一，例如跨证件照和监控视频的行人匹配。解决此问题的传统方法通常包含两个步骤：i) 将来自不同域的样本投影到一个公共空间，以及 ii) 基于某种距离在该空间中计算（不）相似性。在本文中，我们提出了一种新颖的成对相似性度量，通过 i) 将传统线性投影扩展为仿射变换，以及 ii) 通过数据驱动组合融合仿射马氏距离和余弦相似性，推进了现有模型。此外，我们通过深度卷积神经网络将我们的相似性度量与特征表示学习统一起来。具体而言，我们将相似性度量矩阵融入深度架构，实现了模型端到端的优化方式。我们在几个具有挑战性的跨域匹配任务中广泛评估了我们的广义相似性模型：不同视角下的行人重识别以及不同模态下的人脸验证（即静态图像与视频中的人脸、年长与年轻的人脸、素描与照片肖像）。实验结果证明了我们的模型相较于其他最先进方法的优越性能。