Bures距离与形状距离的二重性及其对神经网络表示比较的启示
机器学习
2023-11-21 v1 机器学习
摘要
人们提出了大量用于衡量神经网络表示之间相似（或不相似）的方法，导致研究格局碎片化。这些度量大多属于两类之一。第一类，如线性回归、典型相关分析（CCA）和形状距离，均学习神经单元之间的显式映射以量化相似性，同时考虑预期的不变性。第二类，如表示相似性分析（RSA）、中心化核对齐（CKA）和归一化Bures相似度（NBS），均在汇总统计量（如刺激×刺激核矩阵）中量化相似性，这些统计量已对预期的对称性具有不变性。在此，我们通过观察到黎曼形状距离（第一类）的余弦等于NBS（第二类），朝着统一这两大类方法迈出了一步。我们探讨这一联系如何带来对形状距离和NBS的新解释，并将这些度量与深度学习文献中流行的相似性度量CKA进行对比。
引用
@article{arxiv.2311.11436,
title = {Duality of Bures and Shape Distances with Implications for Comparing Neural Representations},
author = {Sarah E. Harvey and Brett W. Larsen and Alex H. Williams},
journal= {arXiv preprint arXiv:2311.11436},
year = {2023}
}