噪声正则化深度神经网络作为高斯过程的期望行为
机器学习
2020-07-15 v1 机器学习
摘要
近期工作确立了深度神经网络与高斯过程 (GPs) 之间的等价性，产生了所谓神经网络高斯过程 (NNGPs)。这些模型的行为取决于对应网络的初始化。本工作中，我们考虑噪声正则化（如 dropout）对 NNGPs 的影响，并将其行为与噪声正则化深度神经网络中的信号传播理论相联系。对于 ReLU 激活函数，我们发现性能最佳的 NNGPs 的核参数对应于一种近期提出的噪声正则化 ReLU 网络初始化方案。此外，我们展示噪声如何影响 NNGP 的协方差矩阵，从而在远离训练点处产生朝向简单函数的更强先验。我们通过 MNIST 与 CIFAR-10 以及合成数据上的实验验证了我们的理论发现。
引用
@article{arxiv.1910.05563,
title = {On the expected behaviour of noise regularised deep neural networks as Gaussian processes},
author = {Arnu Pretorius and Herman Kamper and Steve Kroon},
journal= {arXiv preprint arXiv:1910.05563},
year = {2020}
}
备注
8 pages, 6 figures, preliminary work