用于加速黑盒变分推断的联合控制变量
机器学习
2024-03-11 v4 机器学习
摘要
黑盒变分推断的性能有时会受到高方差梯度估计器使用的阻碍。该方差来自两个随机性来源：数据子采样与蒙特卡洛采样。现有的控制变量仅处理蒙特卡洛噪声，而增量梯度方法通常仅处理数据子采样；我们提出了一种新的“联合”控制变量，可同时降低来自这两种噪声源的方差。这显著减少了梯度方差，从而在多个应用中实现了更快的优化。
引用
@article{arxiv.2210.07290,
title = {Joint control variate for faster black-box variational inference},
author = {Xi Wang and Tomas Geffner and Justin Domke},
journal= {arXiv preprint arXiv:2210.07290},
year = {2024}
}
备注
Published in the 27th International Conference on Artificial Intelligence and Statistics (AISTATS 2024)