Plackett-Luce 分布的低方差黑盒梯度估计
机器学习
2019-11-25 v1 机器学习
摘要
使用随机梯度下降学习具有离散潜变量的模型仍因梯度估计的高方差而具挑战。现代方差缩减技术多考虑类别分布，在可能结果数量很大时适用性有限。本文考虑具有潜排列的模型，并为 Plackett-Luce 分布提出控制变量。具体而言，这些控制变量允许我们使用随机梯度下降优化排列上的黑盒函数。为说明该方法，我们考虑连续与离散数据的多种因果结构学习任务。我们表明，我们的方法优于具竞争力的基于松弛的优化方法，并且也适用于不可微评分函数。
引用
@article{arxiv.1911.10036,
title = {Low-variance Black-box Gradient Estimates for the Plackett-Luce Distribution},
author = {Artyom Gadetsky and Kirill Struminsky and Christopher Robinson and Novi Quadrianto and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1911.10036},
year = {2019}
}
备注
Accepted as a conference paper at AAAI 2020. Shortened version of the paper appears at BDL NeurIPS 2019 workshop