用统计检验为表征相似性奠基
机器学习
2021-11-04 v2 机器学习
摘要
为理解神经网络行为，近期工作使用典型相关分析（CCA）、中心核对齐（CKA）及其他不相似度量，对不同网络学到的表征进行定量比较。遗憾的是，这些广泛使用的度量在基本观察上常有分歧，例如仅在随机初始化上不同的深度网络是否学到相似的表征。这些分歧引出一个问题：我们该相信哪个（如果有的话）不相似度量？我们提供一个框架，通过一项具体检验为此问题奠基：度量应对影响功能行为的变化具有敏感性，并对不影响功能行为的变化具有特异性。我们通过多种功能行为（包括探测准确率和对分布偏移的鲁棒性）对此进行量化，并考察诸如改变随机初始化及删除主成分等变化。我们发现现有度量表现出不同的弱点，注意到一个经典基线表现得出奇地好，并指出了所有度量似乎都失效的场景，从而为进一步改进提供了一组挑战集。
引用
@article{arxiv.2108.01661,
title = {Grounding Representation Similarity with Statistical Testing},
author = {Frances Ding and Jean-Stanislas Denain and Jacob Steinhardt},
journal= {arXiv preprint arXiv:2108.01661},
year = {2021}
}
备注
Accepted at NeurIPS 2021. 10 pages, 3 figures