神经网络高斯过程的尺度混合
机器学习
2022-03-08 v2 机器学习
摘要
近期工作揭示，任意架构的无限宽前馈或循环神经网络都对应于称为神经网络高斯过程（NNGP）的高斯过程。尽管这些工作显著扩展了收敛到高斯过程的神经网络类别，但鲜有研究关注拓宽此类神经网络所收敛到的随机过程类别。受高斯随机变量的尺度混合启发，本文提出NNGP的尺度混合，为此我们在最后一层参数的尺度上引入先验分布。我们表明，仅在最后一层参数上引入尺度先验，即可将任意架构的无限宽神经网络转化为更丰富的随机过程类别。在某些尺度先验下，我们得到重尾随机过程；在逆伽马先验的情形下，我们恢复了Student's 过程。我们进一步分析了以所提先验初始化并经梯度下降训练的神经网络分布，得到了与NNGP类似的结论。我们给出了尺度混合NNGP的实用后验推断算法，并在回归与分类任务上实证展示了其实用性。特别地，我们表明在两项任务中，由本框架获得的重尾随机过程对分布外数据具有鲁棒性。
引用
@article{arxiv.2107.01408,
title = {Scale Mixtures of Neural Network Gaussian Processes},
author = {Hyungi Lee and Eunggu Yun and Hongseok Yang and Juho Lee},
journal= {arXiv preprint arXiv:2107.01408},
year = {2022}
}
备注
ICLR 2022