模块临界性在深度网络泛化中的有趣作用
机器学习
2020-02-18 v3 机器学习
摘要
我们研究了深度神经网络（DNNs）中某些模块比其他模块更关键的现象。这意味着将其参数值回退到初始化状态，同时保持其他模块固定在训练后的参数，会导致网络性能大幅下降。我们的分析揭示了损失景观的有趣性质，这促使我们提出一种称为模块临界性的复杂度度量，该度量基于连接模块参数初始值与最终值的山谷形状。我们阐述了泛化如何与模块临界性相关，并表明该度量能够解释某些架构优于其他架构的泛化性能，而早期的度量方法做不到这一点。
引用
@article{arxiv.1912.00528,
title = {The intriguing role of module criticality in the generalization of deep networks},
author = {Niladri S. Chatterji and Behnam Neyshabur and Hanie Sedghi},
journal= {arXiv preprint arXiv:1912.00528},
year = {2020}
}