ReCon：通过关系一致性增强真实对应关系的判别，以实现对噪声对应关系的稳健学习
计算机视觉与模式识别
2025-03-13 v2 信息检索
摘要
我们能否准确地从包含不匹配数据对的多模态数据集中识别出真实的对应关系？现有方法主要强调跨模态对象表示之间的相似性匹配，可能忽略了在同一模态内部尤其重要的关系一致性，这对于区分真实与错误的对应关系至关重要。这种疏漏常常会将负样本误判为正样本，从而导致意外的性能下降。为解决此问题，我们提出了一种通用的关系一致性学习框架，称为 ReCon，以准确地判别多模态数据中的真实对应关系，从而有效缓解由不匹配导致的负面影响。具体而言，ReCon 利用新颖的关系一致性学习，确保跨模态关系一致性（在不同模态之间）和同模态关系一致性（在同一模态内部）双重对齐。凭借这种对关系的双重约束，ReCon 在真实对应关系的判别方面显著提升了效果，从而可靠地过滤掉不匹配的数据对，以缓解错误监督的风险。在三个广泛使用的基准数据集上进行了大量实验，包括 Flickr30K、MS-COCO 和 Conceptual Captions，证明了 ReCon 在其他 SOTA 方法之上的有效性和优越性。代码已公开：https://github.com/qxzha/ReCon。
引用
@article{arxiv.2502.19962,
title = {ReCon: Enhancing True Correspondence Discrimination through Relation Consistency for Robust Noisy Correspondence Learning},
author = {Quanxing Zha and Xin Liu and Shu-Juan Peng and Yiu-ming Cheung and Xing Xu and Nannan Wang},
journal= {arXiv preprint arXiv:2502.19962},
year = {2025}
}
备注
10 pages, 4 figures, Accepted by CVPR2025