将神经文本退化与曝光偏差相关联
计算与语言
2021-09-21 v1 机器学习
摘要
本工作致力于将神经文本生成中的两个谜团相关联：曝光偏差（exposure bias）与文本退化（text degeneration）。尽管曝光偏差被提出已久且有大量研究试图补救，但据我们所知，其对文本生成的影响尚未得到验证。文本退化是近期发现广泛使用的预训练语言模型 GPT-2 所遭受的问题（Holtzman 等人，2020）。受文本退化未知成因的驱动，本文试图将这两大谜团联系起来。具体而言，我们首先定性定量地识别文本退化发生前所犯的错误。随后，我们通过检查 GPT-2 中的隐藏状态来研究这些错误的重要性。我们的结果表明，文本退化可能部分由曝光偏差引起。我们还研究了文本退化的自我强化机制，解释错误为何被放大。总之，我们的研究为进一步探究曝光偏差与文本退化问题提供了更具体的基础。
引用
@article{arxiv.2109.08705,
title = {Relating Neural Text Degeneration to Exposure Bias},
author = {Ting-Rui Chiang and Yun-Nung Chen},
journal= {arXiv preprint arXiv:2109.08705},
year = {2021}
}
备注
Accepted by BlackBoxNLP at EMNLP 2021