分布相近性是否蕴含表征相似性？一个可识别性视角
机器学习
2025-10-20 v2 人工智能
机器学习
摘要
不同深度神经网络学习的表征何时以及为何相似是活跃的研究主题。我们选择从可识别性理论的角度来回答这些问题，该理论表明，表征相似性的度量应对保持模型分布不变的变换保持不变性。聚焦于包括几类流行预训练方法的模型族，如自回归语言模型，我们探索了哪些情况下产生接近分布的模型具有相似的表征。我们证明，模型分布之间的小 KL 散度并不保证相应表征相似。这一重要推论表明，尽管数据似然接近最大值，模型仍可学习到不相似的表征——这一现象在我们使用 CIFAR-10 数据集训练的模型实验中得到了验证。随后，我们定义了一种分布距离，使得接近性意味着表征相似性；在合成实验中，我们发现更宽的网络学习的分布就更接近我们的距离度量，并且具有更相似的表征。我们的结果因此澄清了分布相近性与表征相似性之间的关系。
引用
@article{arxiv.2506.03784,
title = {When Does Closeness in Distribution Imply Representational Similarity? An Identifiability Perspective},
author = {Beatrix M. G. Nielsen and Emanuele Marconato and Andrea Dittadi and Luigi Gresele},
journal= {arXiv preprint arXiv:2506.03784},
year = {2025}
}