无限深神经网络的变分推断
机器学习
2022-09-22 v1 机器学习
摘要
我们引入无界深度神经网络（UDN），一种无限深的概率模型，可根据训练数据调整其复杂度。UDN包含无限序列的隐藏层，并对截断L（即其产生数据的层）施加无界先验。给定观测数据集，后验UDN提供无限神经网络参数及其截断的条件分布。我们开发了一种新颖的变分推断算法来近似该后验，优化神经网络权重和截断深度L的分布，且对L无任何上限。为此，变分族具有特殊结构：它对任意深度的神经网络权重建模，并随着其截断分布的优化动态地创建或移除自由变分参数。（与模型搜索的启发式方法不同，该算法完全通过基于梯度的优化来探索截断空间。）我们在真实和合成数据上研究了UDN。我们发现UDN将其后验深度适应于数据集复杂度；其在相似计算复杂度下优于标准神经网络；并且优于其他无限深神经网络方法。
引用
@article{arxiv.2209.10091,
title = {Variational Inference for Infinitely Deep Neural Networks},
author = {Achille Nazaret and David Blei},
journal= {arXiv preprint arXiv:2209.10091},
year = {2022}
}
备注
Published at ICML 2022