面向合成图像检索的噪声感知对比学习——NCL-CIR
计算机视觉与模式识别
2025-04-29 v2
摘要
合成图像检索（CIR）旨在使用多模态查询（将图像与修改文本组合）来查找目标图像。虽然近期的CIR方法显示出前景，但它们主要通过数据增强或模型设计来探索查询对（图像和文本）之间的关系。这些方法常常假设查询与目标图像之间存在完美的对齐，这种假设在实际中很少出现。实际情况下，由于不准确的修改文本、低质量目标图像或标注错误等问题，查询对常常存在部分或完全不匹配。忽略这些不匹配会导致大量假阳性配对（FFPs），即数据集中的噪声配对，导致模型过拟合并最终降低性能。为此，我们提出了面向CIR的噪声感知对比学习框架NCL-CIR，包含两个关键组件：权重补偿模块（WCB）和噪声配对过滤模块（NFB）。WCB配合多样化的权重图，可确保多模态查询和目标图像的标记表示更稳定。同时，NFB结合高斯混合模型（GMM）通过评估损失分布来预测噪声配对，并生成相应的软标签，从而允许基于软标签的噪声对比估计（NCE）损失函数的设计。最终，整个架构有助于减轻不匹配和部分匹配样本的影响，实验结果表明NCL-CIR在基准数据集上取得卓越的性能。
引用
@article{arxiv.2504.04339,
title = {NCL-CIR: Noise-aware Contrastive Learning for Composed Image Retrieval},
author = {Peng Gao and Yujian Lee and Zailong Chen and Hui zhang and Xubo Liu and Yiyang Hu and Guquang Jing},
journal= {arXiv preprint arXiv:2504.04339},
year = {2025}
}
备注
Has been accepted by ICASSP2025