面向跨语言跨模态检索的双视角课程最优传输
计算机视觉与模式识别
2023-09-12 v1 多媒体
摘要
当前跨模态检索研究多以英语为导向，原因在于大量英语导向的人工标注视觉-语言语料可用。为突破非英语标注数据的限制，跨语言跨模态检索（CCR）日益受到关注。多数 CCR 方法通过机器翻译（MT）构建伪平行视觉-语言语料以实现跨语言迁移。然而，MT 翻译所得句子在描述对应视觉内容时通常并不完善。不恰当地假设伪平行数据正确相关会使网络过拟合于噪声对应。因此，我们提出双视角课程最优传输（DCOT）以在 CCR 中应对噪声对应学习。具体而言，我们从跨语言与跨模态双视角基于最优传输理论量化样本对相关的置信度，并设计双视角课程学习以依据两视角学习阶段动态建模传输代价。我们在两个多语言图文数据集与一个视频-文本数据集上开展充分实验，结果证明了所提方法的有效性与鲁棒性。此外，我们的方法对跨语言图文基线亦展现良好扩展性，并对域外数据具有不错泛化能力。
引用
@article{arxiv.2309.05451,
title = {Dual-view Curricular Optimal Transport for Cross-lingual Cross-modal Retrieval},
author = {Yabing Wang and Shuhui Wang and Hao Luo and Jianfeng Dong and Fan Wang and Meng Han and Xun Wang and Meng Wang},
journal= {arXiv preprint arXiv:2309.05451},
year = {2023}
}