关于监督对比学习特征归因的性质
机器学习
2026-04-27 v1 人工智能
摘要
大多数用于分类的神经网络（NN）都是使用交叉熵作为损失函数进行训练的。这种方法需要模型具有显式的分类层。然而，存在替代方法，如对比学习（CL）。与显式操作分类不同，CL让NN产生一个嵌入空间，其中相似数据的投影被拉近，而不相似数据的投影被推远。在监督对比学习（SCL）的情况下，标签被用作相似性标准，从而创建一个数据点投影良好聚类的嵌入空间。SCL相对于CE在对抗鲁棒性和异常分布检测方面提供了关键优势，因此在安全关键场景中是更自然的选择。本文中，我们经验性地表明，使用SCL进行图像分类训练的NN在特征归因解释方面优于CL，具体表现为忠实性、复杂度和连续性。这些结果强化了关于CL方法在针对更可信赖和透明的NN时的先前发现，並可指导实践者在仅在准确率之外，还选择面向模型透明度的训练目标。
引用
@article{arxiv.2604.22540,
title = {On the Properties of Feature Attribution for Supervised Contrastive Learning},
author = {Leonardo Arrighi and Julia Eva Belloni and Aurélie Gallet and Ivan Gentile and Matteo Lippi and Marco Zullich},
journal= {arXiv preprint arXiv:2604.22540},
year = {2026}
}