深度卷积网络作为浅层高斯过程
机器学习
2019-05-07 v2 机器学习
摘要
我们表明，在权重和偏置上具有适当先验的（残差）卷积神经网络（CNN）在无限多个卷积滤波器的极限下是一个高斯过程（GP），推广了稠密网络的类似结果。对于CNN，等效核可以被精确计算，并且与“深度核”不同，它具有非常少的参数：仅包含原始CNN的超参数。此外，我们表明该核具有两个允许其高效计算的属性；为一对图像评估该核的代价类似于原始CNN仅每层一个滤波器的单次前向传播。等价于32层ResNet的核在MNIST上获得了0.84%的分类错误率，这是具有可比参数数量的GP的新纪录。
引用
@article{arxiv.1808.05587,
title = {Deep Convolutional Networks as shallow Gaussian Processes},
author = {Adrià Garriga-Alonso and Carl Edward Rasmussen and Laurence Aitchison},
journal= {arXiv preprint arXiv:1808.05587},
year = {2019}
}