跨模态中心损失
计算机视觉与模式识别
2020-08-11 v1
摘要
跨模态检索旨在为来自不同模态的数据学习具有判别性且模态不变的特征。与现有通常从离线网络提取的特征中学习的方法不同，本文提出一种利用元数据联合训练跨模态检索框架各组件的方法，使网络能够找到最优特征。所提出的端到端框架通过三种损失函数进行更新：1) 一种新颖的跨模态中心损失以消除跨模态差异，2) 交叉熵损失以最大化类间差异，3) 均方误差损失以减小模态差异。特别地，我们提出的跨模态中心损失最小化了所有模态中属于同一类对象的特征之间的距离。我们在包括 2D 图像、3D 点云和网格数据在内的多模态检索任务上进行了大量实验。所提框架在 ModelNet40 数据集上显著优于最先进的方法。
引用
@article{arxiv.2008.03561,
title = {Cross-modal Center Loss},
author = {Longlong Jing and Elahe Vahdani and Jiaxing Tan and Yingli Tian},
journal= {arXiv preprint arXiv:2008.03561},
year = {2020}
}