通过增加深度得到的神经网络高斯过程
机器学习
2022-07-06 v3 人工智能
摘要
近年来，关于无限宽网络与高斯过程之间对应关系的兴趣日益增长。尽管当前的神经网络高斯过程理论有效且优美，但据我们所知，所有的神经网络高斯过程本质上都是由增加宽度诱导的。然而，在深度学习时代，我们更关注神经网络的深度以及深度如何影响网络的行为。受宽度-深度对称性考虑的启发，我们使用快捷网络表明，增加神经网络的深度同样可以产生高斯过程，这是对现有理论的宝贵补充，并有助于揭示深度学习的真实图景。除了所提出的由深度诱导的高斯过程外，我们还从理论上刻画了其一致紧性性质以及该高斯过程核的最小特征值。这些刻画不仅能增强我们对所提出的深度诱导高斯过程的理解，也为未来的应用铺平了道路。最后，我们在两个基准数据集上通过回归实验检验了所提出高斯过程的性能。
引用
@article{arxiv.2108.12862,
title = {Neural Network Gaussian Processes by Increasing Depth},
author = {Shao-Qun Zhang and Fei Wang and Feng-Lei Fan},
journal= {arXiv preprint arXiv:2108.12862},
year = {2022}
}