ContraSim——基于对比学习的神经表征分析

近期工作通过基于相似度的分析来比较神经网络表征，以改进模型解释性。相似度度量的质量通常通过其能否成功为预期匹配的表征赋予高分来评估。然而，现有相似度度量在标准基准上表现平平。在本工作中，我们提出了一种基于对比学习的新相似度度量，称为 ContraSim。与常见的闭式相似度度量不同，ContraSim 利用相似与不相似的样本来学习一个参数化度量。我们使用语言和视觉模型，在标准层预测基准以及我们引入的两个新基准（多语言基准和图像-描述基准）上对我们的方法进行了广泛的实验评估。在所有情况下，即便面对具有挑战性的样本，ContraSim 的准确率也远高于以往的相似度度量。最后，ContraSim 更适用于神经网络分析，揭示了以往度量未能捕捉的新见解。