通过几何结构一致性学习消除噪声对应关系
计算机视觉与模式识别
2024-05-28 v1
摘要
噪声对应关系指的是跨模态数据对中的不匹配，在人工标注或网络爬取的数据集中十分常见。先前的方法主要考虑单模态噪声标签学习，而未修正跨模态和内模态几何结构在多模态学习中的影响。实际上，我们发现当几何结构良好建立时，两种结构都能通过结构差异有效区分噪声对应关系。灵感来自这一观察，我们引入一种几何结构一致性 (GSC) 方法来推断真实对应关系。具体而言，GSC确保保持跨模态和内模态的几何结构，允许基于结构差异准确区分噪声样本。利用推断出的真实对应标签，GSC通过过滤噪声样本来 refined 几何结构的学习。跨模态数据集上的实验表明，GSC有效识别噪声样本并显著优于当前领先方法。
引用
@article{arxiv.2405.16996,
title = {Mitigating Noisy Correspondence by Geometrical Structure Consistency Learning},
author = {Zihua Zhao and Mengxi Chen and Tianjie Dai and Jiangchao Yao and Bo han and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2405.16996},
year = {2024}
}
备注
10 pages, 5 figures, received by IEEE/CVF Computer Science and Pattern Recognition