面向跨模态匹配的通用加权度量学习
计算机视觉与模式识别
2020-10-08 v1
摘要
跨模态匹配一直是视觉与语言领域的重点研究课题。学习恰当的挖掘策略以采样并加权信息对，对跨模态匹配性能至关重要。然而，现有多数度量学习方法针对单模态匹配设计，不适用于具有异质特征的多模态数据上的跨模态匹配。为此，我们提出一种简单且可解释的跨模态匹配通用加权框架，为分析各类损失函数的可解释性提供了工具。此外，我们在该通用加权框架下引入一种新的多项式损失，分别为正信息对和负信息对定义权重函数。在两个图文匹配基准和两个视频文本匹配基准上的实验结果验证了所提方法的有效性。
引用
@article{arxiv.2010.03403,
title = {Universal Weighting Metric Learning for Cross-Modal Matching},
author = {Jiwei Wei and Xing Xu and Yang Yang and Yanli Ji and Zheng Wang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2010.03403},
year = {2020}
}