用于贝叶斯持续学习的层次化印度自助餐神经网络
机器学习
2021-08-03 v5 机器学习
摘要
我们在贝叶斯神经网络（BNN）结构上施加印度自助餐过程（IBP）先验，从而允许 BNN 的复杂度自动增减。我们进一步扩展该模型，使各隐藏层结构的先验通过层次化 IBP（H-IBP）在所有层间全局共享。我们将此模型应用于持续学习（CL）中的资源分配问题，其中新任务出现且网络需要额外资源。我们的模型使用对构成 IBP 与 H-IBP 先验的伯努利分布与 Beta 分布的重参数化在线变分推断。由于自动学习 BNN 各层权重数量，过拟合与欠拟合问题被大幅克服。我们经实证表明，该方法在 CL 中相较现有方法具有竞争优势。
引用
@article{arxiv.1912.02290,
title = {Hierarchical Indian Buffet Neural Networks for Bayesian Continual Learning},
author = {Samuel Kessler and Vu Nguyen and Stefan Zohren and Stephen Roberts},
journal= {arXiv preprint arXiv:1912.02290},
year = {2021}
}
备注
22 pages, 19 figures including references and appendix. Accepted at UAI 2021