硬币采样：无学习率的基于梯度的贝叶斯推断
机器学习
2023-06-02 v3 机器学习
摘要
近年来，基于粒子的变分推断（ParVI）方法，如 Stein 变分梯度下降（SVGD），作为可扩展的贝叶斯推断方法日益流行。遗憾的是，此类方法的特性 invariably 依赖于超参数（如学习率），从业者必须仔细调参以确保以合适速率收敛到目标测度。本文中，我们引入一套基于硬币下注（coin betting）的新的基于粒子的可扩展贝叶斯推断方法，其完全无需学习率。我们在包括若干高维模型与数据集的一系列数值实例上展示了方法的性能，证明其在无需调学习率的情况下与其他 ParVI 算法性能相当。
引用
@article{arxiv.2301.11294,
title = {Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates},
author = {Louis Sharrock and Christopher Nemeth},
journal= {arXiv preprint arXiv:2301.11294},
year = {2023}
}
备注
ICML 2023