基于离散 Stein 算子的梯度估计
机器学习
2024-04-16 v8 机器学习
摘要
梯度估计——近似期望关于分布参数的梯度——是许多机器学习问题求解的核心。然而，当分布为离散时，大多数常见梯度估计器存在过大方差。为改善梯度估计质量，我们引入一种基于离散分布 Stein 算子的方差缩减技术。随后利用该技术为 REINFORCE 留一估计器构建灵活的控制变量。我们的控制变量可在线适配以最小化方差，且不需要对目标函数额外求值。在如训练二值变分自编码器等基准生成建模任务中，我们的梯度估计器以相同函数求值次数实现了比最先进估计器显著更低的方差。
引用
@article{arxiv.2202.09497,
title = {Gradient Estimation with Discrete Stein Operators},
author = {Jiaxin Shi and Yuhao Zhou and Jessica Hwang and Michalis K. Titsias and Lester Mackey},
journal= {arXiv preprint arXiv:2202.09497},
year = {2024}
}
备注
NeurIPS 2022. Source code: https://github.com/thjashin/rodeo