改进基于梯度的离散分布优化
机器学习
2019-06-18 v3 机器学习
摘要
在许多应用中，我们寻求最大化关于离散变量分布的期望。针对此类目标相对于分布参数的梯度估计是一个具有挑战性的问题。我们从偏差和方差的角度分析了现有解法，包括有限差分（FD）估计量和连续松弛（CR）估计量。我们表明常用的 Gumbel-Softmax 估计量是有偏的，并提出了一种简单方法来减小该偏差。我们还推导出一种更简单的分段线性连续松弛，同样具有减小的偏差。我们通过经验证明，减小的偏差在变分推断和二值优化任务中带来了更好的性能。
引用
@article{arxiv.1810.00116,
title = {Improved Gradient-Based Optimization Over Discrete Distributions},
author = {Evgeny Andriyash and Arash Vahdat and Bill Macready},
journal= {arXiv preprint arXiv:1810.00116},
year = {2019}
}