解耦噪声对应关系学习
计算机视觉与模式识别
2024-08-13 v1 人工智能
摘要
跨模态检索对于理解跨模态的潜在对应关系至关重要。然而，现有方法默认存在良好匹配的训练数据，而这在现实世界数据中往往不切实际，因为数据必然包含不完美的对齐，即噪声对应关系。尽管一些研究探索了基于相似性的策略来解决此类噪声，但会受到受模态独有信息（MEI）影响的次优相似性预测的制约，例如图像中的背景噪声和文本中的抽象定义。这一问题源于MEI未在模态之间共享，因此在训练中对其对齐会显著误导相似性预测。此外，尽管直接应用先前的跨模态解耦方法直观且常见，但会受限于噪声容忍性和解耦效果。鼓励利用信息瓶颈对噪声的鲁棒性，我们提出了DisNCL，即一种用于噪声对应关系学习中特征解耦的信息论框架，通过可证明的最优跨模态解耦效果来自适应平衡提取MII和MEI。DisNCL随后在模态不变子空间中增强相似性预测，从而大幅提升针对噪声对应关系的相似性基于缓解策略。此外，DisNCL引入软匹配目标以建模多模态输入中固有的噪声多对多关系，从而实现对噪声的稳健和准确的跨模态对齐。大量实验表明，DisNCL通过平均召回率提高了2%，且相互信息估计和可视化结果表明DisNCL学习到了有意义的MII/MEI子空间，验证了我们的理论分析。
引用
@article{arxiv.2408.05503,
title = {Disentangled Noisy Correspondence Learning},
author = {Zhuohang Dang and Minnan Luo and Jihong Wang and Chengyou Jia and Haochen Han and Herun Wan and Guang Dai and Xiaojun Chang and Jingdong Wang},
journal= {arXiv preprint arXiv:2408.05503},
year = {2024}
}