重访神经网络表示的相似性
机器学习
2019-07-22 v4 神经元与认知
机器学习
摘要
近期工作试图通过比较层间以及不同训练模型间的表示来理解神经网络的行为。我们考察了基于典型相关分析 (CCA) 的神经网络表示比较方法。我们表明 CCA 属于测量多元相似性的统计量族,但 CCA 以及任何对可逆线性变换不变的统计量,均无法测量维度高于数据点数量的表示之间的有意义相似性。我们引入了一种相似性指数,测量表示相似性矩阵之间的关系,且不受此限制。该相似性指数等价于中心化核对齐 (CKA),并与 CCA 密切相关。与 CCA 不同,CKA 能可靠识别从不同初始化训练的网络中表示的对应关系。
引用
@article{arxiv.1905.00414,
title = {Similarity of Neural Network Representations Revisited},
author = {Simon Kornblith and Mohammad Norouzi and Honglak Lee and Geoffrey Hinton},
journal= {arXiv preprint arXiv:1905.00414},
year = {2019}
}
备注
ICML 2019