通过影响函数剖析对比学习中的表示失配
机器学习
2025-02-04 v2 人工智能
计算机视觉与模式识别
摘要
对比学习通常应用于大规模多模态模型，往往依赖于来自多样且常常不可靠来源的数据，这些数据可能包含失配或误标的文本-图像对。这经常导致鲁棒性问题和幻觉，最终造成性能退化。数据估值是检测和追踪这些失配的有效方法。然而，现有方法对于大规模模型而言计算成本过高。经典的影响函数虽然计算高效，但不足以适用于对比学习模型，因为它们最初是为逐点损失设计的。此外，对比学习涉及最小化正样本模态之间的距离，同时最大化负样本模态之间的距离。这需要从这两个角度评估样本的影响。为了应对这些挑战，我们引入了针对对比损失的扩展影响函数 (ECIF)，这是一种为对比损失量身定制的影响函数。ECIF 同时考虑了正样本和负样本，并提供了对比学习模型的闭式近似，从而无需重新训练。基于 ECIF，我们开发了一系列用于数据评估、失配检测和误预测溯源任务的算法。实验结果表明，与传统的基线方法相比，我们的 ECIF 通过更准确地评估数据影响和模型对齐，提升了 CLIP 式嵌入模型的透明度与可解释性。
引用
@article{arxiv.2411.11667,
title = {Dissecting Representation Misalignment in Contrastive Learning via Influence Function},
author = {Lijie Hu and Chenyang Ren and Huanyi Xie and Khouloud Saadi and Shu Yang and Zhen Tan and Jingfeng Zhang and Di Wang},
journal= {arXiv preprint arXiv:2411.11667},
year = {2025}
}
备注
33 pages