Gumbel 技巧的失散亲属
机器学习
2017-06-14 v1 机器学习
摘要
Gumbel 技巧是一种从离散概率分布中采样或估计其归一化配分函数的方法。该方法依赖于以特定方式对分布反复应用随机扰动，每次求解最可能构型。我们推导了相关方法的整个族，Gumbel 技巧是其成员之一，并表明新方法在多种设定下具有更优的性质，且仅需极少的额外计算开销。特别地，为使 Gumbel 技巧在离散图模型中产生计算益处，对所有构型的 Gumbel 扰动通常被所谓的低秩扰动所替代。我们展示了新方法的一个子族如何适应这一设定，证明了对数配分函数的新的上下界，并推导了 Gibbs 分布的一族顺序采样器。最后，我们通过展示 Gumbel 技巧更简单的解析形式如何促成额外的理论结果，来平衡这一讨论。
引用
@article{arxiv.1706.04161,
title = {Lost Relatives of the Gumbel Trick},
author = {Matej Balog and Nilesh Tripuraneni and Zoubin Ghahramani and Adrian Weller},
journal= {arXiv preprint arXiv:1706.04161},
year = {2017}
}
备注
34th International Conference on Machine Learning (ICML 2017)