面向大规模数据集贝叶斯学习的副本交换Nosé-Hoover动力学
机器学习
2021-02-23 v4 机器学习
摘要
本文提出一种实用的贝叶斯学习新方法，可在小批量噪声存在下，从具有多个孤立模态的复杂后验分布中快速抽取代表性样本。该方法通过并行模拟一组不同温度的副本并周期性交换它们来实现。在演化副本状态时，采用Nosé-Hoover动力学，其自适应地中和小批量噪声。为执行恰当的交换，我们开发了一种新协议，带有噪声感知的接受性检验，从而以渐近方式保留细致平衡。尽管其在复杂多模态后验上的有效性已通过对合成分布的测试得到说明，但在大规模数据集上深度贝叶斯神经网络的实验显示其相较强基线有显著改进。
引用
@article{arxiv.1905.12569,
title = {Replica-exchange Nos\'e-Hoover dynamics for Bayesian learning on large datasets},
author = {Rui Luo and Qiang Zhang and Yaodong Yang and Jun Wang},
journal= {arXiv preprint arXiv:1905.12569},
year = {2021}
}
备注
NeurIPS 2020