面向跨模态检索的噪声标签下近邻感知实例精炼
计算机视觉与模式识别
2026-01-01 v1 多媒体
摘要
近年来，跨模态检索（CMR）在多模态分析领域取得了显著进展。然而，由于收集大规模且标注良好的数据耗时费力，多模态数据的标注不可避免地包含一些噪声。这将降低模型的检索性能。为了解决这个问题，已经开发了许多鲁棒的CMR方法，包括鲁棒学习范式、标签校准策略和实例选择机制。不幸的是，它们往往无法同时满足模型性能上限、校准可靠性和数据利用率。为了克服这些局限性，我们提出了一种新颖的鲁棒跨模态学习框架，即噪声标签下的近邻感知实例精炼（NIRNL）。具体来说，我们首先提出跨模态间隔保持（CMP）来调整正负样本对之间的相对距离，从而增强样本对之间的区分度。然后，我们提出近邻感知实例精炼（NIR），通过跨模态邻域共识来识别纯净子集、困难子集和噪声子集。随后，我们为这种细粒度的划分构建了不同的定制优化策略，从而在最大化所有可用数据利用率的同时减轻误差传播。在三个基准数据集上的大量实验表明，NIRNL达到了最先进的性能，展现出显著的鲁棒性，尤其是在高噪声率下。
引用
@article{arxiv.2512.24064,
title = {Neighbor-aware Instance Refining with Noisy Labels for Cross-Modal Retrieval},
author = {Yizhi Liu and Ruitao Pu and Shilin Xu and Yingke Chen and Quan-Hui Liu and Yuan Sun},
journal= {arXiv preprint arXiv:2512.24064},
year = {2026}
}
备注
9 pages, 4 figures, and AAAI-26 conference