基于典型相关的神经网络表征相似性洞察

比较不同的神经网络表征并确定表征如何随时间演化，在我们理解神经网络功能的过程中仍是具有挑战性的开放问题。比较神经网络中的表征从根本上说是困难的，因为表征的结构变化很大，即使是在相同任务上训练的网络组之间，以及在训练过程中也是如此。在此，我们发展了投影加权 CCA（典型相关分析）作为理解神经网络的一种工具，其建立在最近提出的方法 SVCCA（Raghu 等人，2017）之上。我们首先改进了核心方法，展示了如何区分信号与噪声，然后将该技术应用于比较一组 CNN，证明泛化的网络比记忆的网络收敛到更相似的表征，更宽的网络比窄的网络收敛到更相似的解，并且具有完全相同拓扑但不同学习率的训练网络收敛到具有多样表征的不同簇。我们还研究了 RNN 的表征动态，跨越训练和序列时间步，发现 RNN 在训练过程中以自底向上的模式收敛，并且隐藏状态在序列过程中高度可变，即使考虑了线性变换也是如此。总之，这些结果提供了关于 CNN 和 RNN 功能的新见解，并展示了使用 CCA 理解表征的效用。