REINFORCE的傅里叶视角
机器学习
2018-08-14 v1 机器学习
摘要
我们展示了布尔函数的傅里叶谱与用于二元潜变量模型的REINFORCE梯度估计器之间的联系。我们表明，REINFORCE（相差一个因子）估计的是布尔函数的一阶傅里叶系数。利用这一联系，我们为潜变量模型梯度估计中的方差缩减提供了新视角：即方差缩减涉及消除或减小非一阶的傅里叶系数。随后我们利用该联系为诸如sigmoid信念网络等二元潜变量模型开发了低方差无偏梯度估计器。该估计器基于布尔傅里叶理论中噪声算子的性质，并以保持估计器无偏的方式向REINFORCE估计器加入一个依赖于样本的基线。该基线可插入现有梯度估计器以进一步降低方差。
引用
@article{arxiv.1808.03953,
title = {A Fourier View of REINFORCE},
author = {Adeel Pervez},
journal= {arXiv preprint arXiv:1808.03953},
year = {2018}
}