子空间匹配很可能无法准确评估所学表示的相似性
机器学习
2019-01-07 v1 神经与进化计算
交换代数
机器学习
摘要
学习具有信息量的数据表示是深度学习的主要目标之一，但人们对于神经网络究竟学到了什么表示仍知之甚少。为更好地理解这一点，近期提出了子空间匹配作为一种评估神经网络所学表示相似性的方法。已有研究表明，从不同的初始化训练得到相同架构的两个网络，在隐藏层经子空间匹配评估时表现出较低的相似性，即便其输出层表现出高相似性且网络在分类任务上大体具有相近的性能。在本札记中，我们给出一个受交换代数标准结果启发的简单例子，以说明这种情况如何发生，并证明尽管隐藏层的子空间匹配可能为 0，所学表示作为向量空间可能是同构的。这使我们得出结论：所学表示的子空间匹配比较很可能无信息量，并指出亟需更好的方法来理解所学表示。
引用
@article{arxiv.1901.00884,
title = {Subspace Match Probably Does Not Accurately Assess the Similarity of Learned Representations},
author = {Jeremiah Johnson},
journal= {arXiv preprint arXiv:1901.00884},
year = {2019}
}