ARSM：用于类别变量梯度反向传播的增广-REINFORCE-交换-合并估计器
机器学习
2019-12-24 v2 机器学习
统计计算
统计方法学
摘要
为应对通过类别变量反向传播梯度的挑战，我们提出了无偏且低方差的增广-REINFORCE-交换-合并（ARSM）梯度估计器。ARSM首先利用变量增广、REINFORCE和Rao-Blackwell化将梯度重新表示为Dirichlet分布下的期望，然后利用变量交换构造不同表达但等价的期望，最后在这些期望间共享公共随机数以实现显著的方差缩减。实验结果表明，在单变量设定下ARSM的性能接近于真实梯度；应用于类别变分自编码器时大幅优于现有估计器；并为离散动作策略梯度提供了一种“试看自批评”方差缩减方法，该方法通过生成随机数量的伪动作并估计其动作值函数，免除了估计基线的需要。
引用
@article{arxiv.1905.01413,
title = {ARSM: Augment-REINFORCE-Swap-Merge Estimator for Gradient Backpropagation Through Categorical Variables},
author = {Mingzhang Yin and Yuguang Yue and Mingyuan Zhou},
journal= {arXiv preprint arXiv:1905.01413},
year = {2019}
}
备注
Published in ICML 2019. We have updated Section 4.2 and the Appendix to reflect the improvements brought by fixing some bugs hidden in our original code. Please find the Errata in the authors' websites and check the updated code in Github