基于伪标签一致性引导的噪声对应学习样本细化（PCSR）
计算机视觉与模式识别
2026-04-09 v2
摘要
跨模态检索旨在通过语义相似性对齐不同模态。然而，现有方法常假设图像-文本对完全对齐，忽视了真实数据中的噪声对应问题。这些未对齐的样本会误导相似性学习，导致检索性能下降。先前方法通常依赖粗糙的分类，将数据简单划分为干净样本与噪声样本，忽略噪声实例内部的内在多样性。此外，这些方法对样本特性不施行统一训练策略，导致模型优化时样本利用不够理想。为此，本文提出一种新框架——伪标签一致性引导的样本细化（PCSR），通过显式划分基于伪标签一致性的样本来增强对应关系的可靠性。具体而言，我们首先采用置信度阈值方法区分干净对与噪声对，然后通过伪标签一致性细化噪声对，以发现其结构性差异子集。进一步提出伪标签一致性分数（PCS）以量化预测稳定性，实现对噪声对中模糊样本与可细化样本的划分。据此，我们采用自适应配对优化（APO）策略，对模糊样本采用鲁棒损失函数，对可细化样本在训练期间进行文本替换。在 CC152K、MS-COCO 与 Flickr30K 数据集上进行大量实验表明，我们的方法在噪声监督下显著提升了检索鲁棒性。
引用
@article{arxiv.2509.15623,
title = {PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning},
author = {Zhuoyao Liu and Yang Liu and Wentao Feng and Shudong Huang},
journal= {arXiv preprint arXiv:2509.15623},
year = {2026}
}
备注
7 pages, 3 figures