重新审视深度网络输出层的解析变分界
机器学习
2019-10-04 v2 机器学习
摘要
重参数化技巧与变分自编码器的结合在贝叶斯深度学习中引起了轰动，使得逼真图像生成模型的训练成为可能，并显著提升了我们使用可扩展潜变量模型的能力。重参数化技巧对于无法获得解析变分界的模型是必要的，并允许对任意模型计算含噪梯度。然而，对于神经网络的某些标准输出层，解析界是可用的，变分自编码器可以在不使用重参数化技巧或任何蒙特卡洛近似的情况下使用。在本工作中，我们表明利用 Jaakola 与 Jordan 界，可以构造一个二分类层，从而使用标准随机梯度下降算法训练贝叶斯输出层。我们进一步证明，利用 Bouchard 界进行多类分类的潜变量模型允许对完全概率潜因子模型进行快速训练，即使类别数非常大时也是如此。
引用
@article{arxiv.1910.00877,
title = {Reconsidering Analytical Variational Bounds for Output Layers of Deep Networks},
author = {Otmane Sakhi and Stephen Bonner and David Rohde and Flavian Vasile},
journal= {arXiv preprint arXiv:1910.00877},
year = {2019}
}
备注
8 pages 2 figures