基于Gumbel-Softmax的分类重参数化
机器学习
2017-08-08 v5 机器学习
摘要
分类变量是表示世界中离散结构的自然选择。然而，随机神经网络很少使用分类潜变量，因为无法通过样本反向传播。在这项工作中，我们提出了一种高效的梯度估计器，它将来自分类分布的不可微样本替换为来自新颖的Gumbel-Softmax分布的可微样本。该分布具有可平滑退火为分类分布的基本特性。我们展示了我们的Gumbel-Softmax估计器在带有分类潜变量的结构化输出预测和无监督生成建模任务上优于最先进的梯度估计器，并在半监督分类上实现了大幅加速。
引用
@article{arxiv.1611.01144,
title = {Categorical Reparameterization with Gumbel-Softmax},
author = {Eric Jang and Shixiang Gu and Ben Poole},
journal= {arXiv preprint arXiv:1611.01144},
year = {2017}
}