通过逆概率加权改善神经文本生成的多样性
计算与语言
2021-08-27 v3
摘要
神经文本生成饱受诸如重复等文本退化问题的困扰。传统随机采样方法仅关注截断分布中不可靠的“尾部”，而未处理“头部”部分；我们指出，头部可能包含概率高但乏味甚至重复的候选，从而导致重复循环。它们也未考虑人类文本并非总是偏好高概率词的问题。受此启发，本文提出一种启发式采样方法。我们提议用预测分布的四分位距来确定“头部”，然后对头部以逆概率进行置换与重缩放。这旨在降低高概率但乏味且可能重复的候选的概率，并提高低概率但合理且更出人意料的候选的概率。所提算法对预测分布给出了合理的置换，在增强多样性的同时不损害分布的合理性。我们使用预训练语言模型将我们的算法与传统方法进行比较。结果表明，我们的算法能有效提升生成样本的多样性，同时与人类文本高度相似。
引用
@article{arxiv.2103.07649,
title = {Improving Diversity of Neural Text Generation via Inverse Probability Weighting},
author = {Xinran Zhang and Maosong Sun and Jiafeng Liu and Xiaobing Li},
journal= {arXiv preprint arXiv:2103.07649},
year = {2021}
}