有限与无限神经网络：一项实证研究
机器学习
2020-09-09 v2 机器学习
摘要
我们对宽神经网络与核方法之间的对应关系进行了细致、彻底且大规模的实证研究。由此，我们解决了与无限宽神经网络研究相关的多种开放问题。我们的实验结果包括：核方法优于全连接有限宽网络，但逊于卷积有限宽网络；神经网络高斯过程（NNGP）核经常优于神经正切（NT）核；中心化并集成后的有限网络具有更小的后验方差，且表现得更像无限网络；权重衰减和使用大学习率破坏了有限与无限网络之间的对应关系；NTK参数化优于有限宽网络的标准参数化；核的对角正则化类似于早停；浮点精度在超过临界数据集规模后限制核性能；正则化ZCA白化提高准确率；有限网络性能对宽度的依赖呈非单调关系，且未被双下降现象所刻画；CNN的等变性仅对远离核机制的窄网络有益。我们的实验还启发了一种改进的逐层权重衰减缩放，其改善了有限宽网络的泛化能力。最后，我们为使用NNGP和NT核进行预测开发了改进的最佳实践，包括一种新颖的集成技术。利用这些最佳实践，我们在所考虑的每一类架构对应的核上实现了CIFAR-10分类的state-of-the-art结果。
引用
@article{arxiv.2007.15801,
title = {Finite Versus Infinite Neural Networks: an Empirical Study},
author = {Jaehoon Lee and Samuel S. Schoenholz and Jeffrey Pennington and Ben Adlam and Lechao Xiao and Roman Novak and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2007.15801},
year = {2020}
}
备注
17+11 pages; v2 references added, minor improvements