卷积神经网络的结构化权重先验
计算机视觉与模式识别
2020-07-29 v1
摘要
为任务选取合适的架构先验（如图像数据用卷积）对深度神经网络（NNs）的成功至关重要。反之，这些架构内的权重先验通常含糊对待，例如独立高斯分布，这引发了关于贝叶斯深度学习效用的争论。本文探讨为权重先验增添结构的好处。首先考察卷积神经网络的首层滤波器，设计基于随机 Gabor 滤波器的先验。其次，考察通过估计各隐藏特征与各类别的关系，为末层权重的先验增添结构。实证结果表明，这些结构化权重先验能为图像数据带来更具意义的函数先验，从而有助于关于权重先验重要性的持续讨论。
引用
@article{arxiv.2007.14235,
title = {Structured Weight Priors for Convolutional Neural Networks},
author = {Tim Pearce and Andrew Y. K. Foong and Alexandra Brintrup},
journal= {arXiv preprint arXiv:2007.14235},
year = {2020}
}
备注
Presented at the ICML 2020 Workshop on Uncertainty and Robustness in Deep Learning