SwAMP：用于跨模态检索的多模态配对交换分配方法
机器学习
2022-10-13 v2 计算机视觉与模式识别
摘要
我们解决了跨模态检索问题，其中学习仅由数据中相关的多模态配对监督。尽管对比学习是该任务最流行的方法，但它做出了一个潜在错误的假设，即不同配对中的样本自动不相关。为解决此问题，我们提出了一种基于未知语义类别自标注的新型损失函数。具体而言，我们旨在预测每种模态中数据样本的类别标签，并将这些标签分配给另一种模态中的对应样本（即交换伪标签）。利用这些交换后的标签，我们通过有监督的交叉熵损失学习每种模态的数据嵌入。这样，来自不同配对但语义相关的跨模态样本可通过类别预测器相互对齐。我们在多个真实世界跨模态检索问题上测试了我们的方法，包括基于文本的 video 检索、基于草图的图像检索以及图像-文本检索。在所有这些任务上，我们的方法相比对比学习均取得了显著的性能提升。
引用
@article{arxiv.2111.05814,
title = {SwAMP: Swapped Assignment of Multi-Modal Pairs for Cross-Modal Retrieval},
author = {Minyoung Kim},
journal= {arXiv preprint arXiv:2111.05814},
year = {2022}
}