深度权重先验
机器学习
2019-02-20 v6 机器学习
摘要
众所周知，贝叶斯推断通过精心选择先验分布，为将先验知识或特定性质引入机器学习模型提供了一个通用框架。在这项工作中，我们提出了一种用于卷积神经网络的新类型先验分布——深度权重先验（DWP），它利用生成模型来鼓励训练后的卷积滤波器具有特定结构，例如权重的空间相关性。我们以隐式分布的形式定义 DWP，并提出了一种针对此类隐式先验的变分推断方法。在实验中，我们表明当训练数据有限时，DWP 改善了贝叶斯神经网络的性能，并且用来自 DWP 的样本初始化权重可加速常规卷积神经网络的训练。
引用
@article{arxiv.1810.06943,
title = {The Deep Weight Prior},
author = {Andrei Atanov and Arsenii Ashukha and Kirill Struminsky and Dmitry Vetrov and Max Welling},
journal= {arXiv preprint arXiv:1810.06943},
year = {2019}
}
备注
TL;DR: The deep weight prior learns a generative model for kernels of convolutional neural networks, that acts as a prior distribution while training on new datasets