面向开放式语言生成的采样算法系统性刻画
计算与语言
2020-09-16 v1 人工智能
机器学习
摘要
本研究考察了自回归语言模型中广泛采用的祖先采样算法，而该算法在文献中未得到广泛研究。我们利用质量-多样性（Q-D）权衡来考察三种流行的采样算法（top-k、nucleus 与 tempered sampling）。我们聚焦于开放式语言生成任务。我们首先表明现有采样算法具有相近的性能。在仔细检视不同采样算法所定义的变换后，我们识别出它们共有的三个关键性质：熵减、保序与保斜率。为验证所识别性质的重要性，我们设计了两套新的采样算法：一套中每个算法均满足全部三个性质，另一套中每个算法至少违背其中一个性质。我们将它们的性能与现有采样算法进行比较，发现违背所识别的性质可能导致严重的性能退化（以 Q-D 权衡衡量）。另一方面，我们发现满足这些性质的采样算法集合与现有采样算法表现相当。我们的数据与代码见 https://github.com/moinnadeem/characterizing-sampling-algorithms
引用
@article{arxiv.2009.07243,
title = {A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation},
author = {Moin Nadeem and Tianxing He and Kyunghyun Cho and James Glass},
journal= {arXiv preprint arXiv:2009.07243},
year = {2020}
}
备注
To appear at AACL 2020; 9 pages, 12 figures, 2 tables