通过隐式微分改进边缘无偏得分展开 (MUSE)

Marius Millea

通过隐式微分改进边缘无偏得分展开 (MUSE)

机器学习 2022-09-22 v1 人工智能机器学习

作者: Marius Millea

摘要

我们应用隐式微分技术，在用于层次贝叶斯推断的边缘无偏得分展开 (MUSE) 算法中提升性能、减少数值误差并消除所需的用户调参。我们在三个代表性推断问题上展示了这些改进：1) 扩展的 Neal 漏斗，2) 贝叶斯神经网络，以及 3) 概率主成分分析。在我们的特定测试用例上，带隐式微分的 MUSE 分别比哈密顿蒙特卡洛快 155、397 和 5 倍，不带隐式微分则为 65、278 和 1 倍，并且产生了良好的近似边缘后验。Julia 和 Python 的 MUSE 包已更新以使用隐式微分，并可求解由手工或若干流行的概率编程语言与自动微分后端所定义的问题。

关键词

边缘无偏得分展开隐式微分层次贝叶斯推断哈密顿蒙特卡洛概率编程自动微分近似边缘后验

引用

@article{arxiv.2209.10512,
  title  = {Improved Marginal Unbiased Score Expansion (MUSE) via Implicit Differentiation},
  author = {Marius Millea},
  journal= {arXiv preprint arXiv:2209.10512},
  year   = {2022}
}

备注

Code to reproduce our results available at https://github.com/marius311/muse-implicit-paper

通过隐式微分改进边缘无偏得分展开 (MUSE)

摘要

关键词

引用

备注

相关论文