Concrete分布：离散随机变量的连续松弛
机器学习
2017-03-07 v3 机器学习
摘要
重参数化技巧（reparameterization trick）使得通过梯度下降优化大规模随机计算图成为可能。该技巧的本质是将每个随机节点重构为对其参数和具有固定分布的随机变量的可微函数。重构后，通过图链式规则传播的损失的梯度是期望损失梯度的低方差无偏估计。尽管许多连续随机变量具有此类重参数化，但由于离散状态的不连续性质，离散随机变量缺乏有用的重参数化。在这项工作中，我们引入Concrete随机变量——离散随机变量的连续松弛。Concrete分布是具有闭式密度和简单重参数化的新分布族。只要计算图的离散随机节点可以重构为被连续处理的独热（one-hot）位表示，就可以将Concrete随机节点与自动微分结合使用，以在相应的离散图上产生目标的低方差有偏梯度（包括依赖于潜随机节点对数概率的目标）。我们展示了使用神经网络的Concrete松弛在密度估计和结构化预测任务上的有效性。
引用
@article{arxiv.1611.00712,
title = {The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables},
author = {Chris J. Maddison and Andriy Mnih and Yee Whye Teh},
journal= {arXiv preprint arXiv:1611.00712},
year = {2017}
}