基于随机Softmax技巧的梯度估计
机器学习
2021-03-02 v3 机器学习
摘要
Gumbel-Max 技巧是许多松弛梯度估计器的基础。这些估计器易于实现且方差较低，但将其全面扩展到大型组合分布的目标仍未实现。在扰动模型框架内，我们引入了随机 softmax 技巧，将 Gumbel-Softmax 技巧推广到组合空间。我们的框架为现有的扰动模型松弛估计器提供了统一视角，并包含了许多新颖的松弛方法。我们为子集选择、生成树、树状图等设计了结构化松弛。与结构化程度较低的基线方法相比，我们发现随机 softmax 技巧可用于训练性能更优且能发现更多潜在结构的潜变量模型。
引用
@article{arxiv.2006.08063,
title = {Gradient Estimation with Stochastic Softmax Tricks},
author = {Max B. Paulus and Dami Choi and Daniel Tarlow and Andreas Krause and Chris J. Maddison},
journal= {arXiv preprint arXiv:2006.08063},
year = {2021}
}
备注
NeurIPS 2020, final copy