REPAIR：基于秩相关与带记忆的噪声对半替换方法用于噪声对应
计算机视觉与模式识别
2024-03-14 v1
摘要
采集数据中噪声的存在必然导致跨模态匹配性能下降。不幸的是，在多模态领域获取精确标注成本高昂，这促使一些方法去处理跨模态匹配情境中的数据对不匹配问题，即所谓的噪声对应。然而，现有的大多数噪声对应方法存在以下局限：a）自强化误差累积问题，以及b）对噪声数据对的不当处理。为解决这两个问题，我们提出一个名为秩相关与带记忆的噪声对半替换（REPAIR）的通用框架，该框架受益于为匹配对特征维护一个记忆库。具体而言，我们分别计算记忆库中特征与目标对特征在每个模态下的距离，并利用这两组距离的秩相关来估计目标对的软对应标签。基于记忆库特征而非使用相似度网络来估计软对应，可以避免因网络错误识别而导致的误差累积。对于完全错配的对，REPAIR在记忆库中搜索最匹配的特征来替换某一模态的一个特征，而不是直接使用原始对或仅丢弃错配对。我们在三个跨模态数据集（Flickr30K、MSCOCO和CC152K）上进行了实验，证明了REPAIR在合成噪声和真实噪声下的有效性和鲁棒性。
引用
@article{arxiv.2403.08224,
title = {REPAIR: Rank Correlation and Noisy Pair Half-replacing with Memory for Noisy Correspondence},
author = {Ruochen Zheng and Jiahao Hong and Changxin Gao and Nong Sang},
journal= {arXiv preprint arXiv:2403.08224},
year = {2024}
}