一种用于缓解神经文本退化的简单对比学习目标
计算与语言
2022-05-20 v2
摘要
交叉熵目标已被证明是自回归语言模型(LMs)的通用训练目标。然而，在不考虑对有问题的词元进行惩罚的情况下，使用交叉熵训练的LM表现出文本退化。为了解决这个问题，已提出非似然训练来降低LM预测的不可能词元的概率。但非似然没有考虑标签词元与不可能词元候选之间的关系，因此在退化方面仅显示出边际改进。我们提出了一种新的对比词元学习目标，它继承了交叉熵和非似然训练的优点并避免了它们的局限性。关键思想是教LM对标签词元生成高概率，对负候选生成低概率。在语言建模和开放域对话生成任务上的综合实验表明，所提出的对比词元目标产生的重复文本少得多，且生成质量高于基线方法，在文本退化上达到了新的SOTA性能。
引用
@article{arxiv.2205.02517,
title = {A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration},
author = {Shaojie Jiang and Ruqing Zhang and Svitlana Vakulenko and Maarten de Rijke},
journal= {arXiv preprint arXiv:2205.02517},
year = {2022}
}
备注
22 pages, 11 figures, 8 tables