面向一般离散随机变量的广义Gumbel-Softmax梯度估计器
机器学习
2023-02-23 v4 机器学习
摘要
估计随机计算图中随机节点的梯度是深度生成建模领域的关键研究问题之一，它使得对神经网络参数进行梯度下降优化成为可能。离散随机变量的随机梯度估计器已被广泛探索，例如针对伯努利分布与类别分布的Gumbel-Softmax重参数化技巧。与此同时，其他离散分布情形，如泊松、几何、二项、多项、负二项等，尚未被探索。本文提出Gumbel-Softmax估计器的广义版本，其能够对一般离散分布进行重参数化，而不限于伯努利与类别分布。所提估计器利用了离散随机变量的截断、Gumbel-Softmax技巧以及一种特殊形式的线性变换。我们的实验包括（1）合成例子及在VAE上的应用，展示了方法的有效性；以及（2）主题模型，证明了所提估计在实践中的价值。
引用
@article{arxiv.2003.01847,
title = {Generalized Gumbel-Softmax Gradient Estimator for Generic Discrete Random Variables},
author = {Weonyoung Joo and Dongjun Kim and Seungjae Shin and Il-Chul Moon},
journal= {arXiv preprint arXiv:2003.01847},
year = {2023}
}