关于采用标准参数化的神经网络在无限宽度极限下的性质
机器学习
2020-04-21 v3 机器学习
摘要
目前有两种用于推导对应无限宽度神经网络固定核的参数化方法：NTK（神经正切核）参数化和朴素标准参数化。然而，这两种参数化外推至无限宽度均有问题。标准参数化导致发散的神经正切核，而 NTK 参数化未能捕捉有限宽度网络的关键方面，例如：训练动态对相对层宽的依赖、权重与偏置的相对训练动态，以及整体学习率尺度。此处我们提出一种改进的标准参数化外推方法，在宽度趋于无穷时保留所有这些性质，并产生一个定义良好的神经正切核。我们通过实验表明，所得核通常能达到与 NTK 参数化所得核相近的精度，但更好地对应于典型有限宽度网络的参数化。此外，通过仔细调优宽度参数，改进的标准参数化核可以优于源自 NTK 参数化的核。我们将实现此改进标准参数化的代码作为 Neural Tangents 库的一部分发布于 https://github.com/google/neural-tangents。
引用
@article{arxiv.2001.07301,
title = {On the infinite width limit of neural networks with a standard parameterization},
author = {Jascha Sohl-Dickstein and Roman Novak and Samuel S. Schoenholz and Jaehoon Lee},
journal= {arXiv preprint arXiv:2001.07301},
year = {2020}
}