探究束搜索在开放式文本生成中的标签偏置
计算与语言
2020-05-25 v1
摘要
束搜索是一种有效且广泛使用的译码算法，应用于许多序列到序列（seq2seq）文本生成任务。然而，在开放式文本生成中，常发现束搜索会产生重复且通用的文本，基于采样的译码算法如 top-k 采样与核采样更受青睐。标准 seq2seq 模型因其局部归一化概率公式而存在标签偏置。本文提供了一系列经验证据，表明标签偏置是束搜索此类退化行为的主要原因。通过结合局部归一化最大似然估计与全局归一化序列级训练，可在几乎不牺牲困惑度的情况下减少标签偏置。为定量度量标签偏置，我们测试模型区分真实文本与一组上下文无关干扰项的能力。我们在大规模回复生成数据集上开展实验。结果表明，依据自动与人工评价指标，采用我们的方法后束搜索能生成更具多样性与意义的文本。我们的分析也指出了面向开放式文本生成这一重大挑战的若干未来工作方向。
引用
@article{arxiv.2005.11009,
title = {Investigating Label Bias in Beam Search for Open-ended Text Generation},
author = {Liang Wang and Jinlong Liu and Jingming Liu},
journal= {arXiv preprint arXiv:2005.11009},
year = {2020}
}
备注
10 pages, 4 figures, 5 tables