随机束搜索及其获取方法：用于无放回序列采样的Gumbel-Top-k技巧
机器学习
2019-05-31 v2 机器学习
摘要
众所周知的用于从类别分布中采样的Gumbel-Max技巧可扩展为无放回地采样个元素。我们展示了如何在序列的因子化分布上隐式应用这一“Gumbel-Top-”技巧，从而利用随机束搜索（Stochastic Beam Search）绘制无放回的精确样本。即使对于指数级大的域，模型评估次数也仅随和最大采样序列长度线性增长。该算法在采样与（确定性）束搜索之间建立了理论联系，并可用作一种有原则的中间替代方案。在翻译任务中，所提方法相较于获取多样且高质量的翻译的替代方案表现更优。我们展示了无放回采样的序列可用于构建期望句子级BLEU分数和模型熵的低方差估计量。
引用
@article{arxiv.1903.06059,
title = {Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement},
author = {Wouter Kool and Herke van Hoof and Max Welling},
journal= {arXiv preprint arXiv:1903.06059},
year = {2019}
}
备注
ICML 2019 ; 13 pages, 4 figures