CoNT：对比式神经文本生成
计算与语言
2023-02-06 v4
摘要
近年来，对比学习作为一种缓解暴露偏差问题的新方案，在神经文本生成中引起了越来越多的关注。它引入了序列级训练信号，这对于始终依赖自回归解码的生成任务至关重要。然而，先前在神经文本生成中使用对比学习的方法通常导致较差的性能。本文中，我们分析了潜在原因，并提出了一种新的对比式神经文本生成框架 CoNT。CoNT 从三个方面解决了阻碍对比学习在生成任务中广泛采用的瓶颈——对比样本的构造、对比损失的选择以及解码策略。我们在五个生成任务的十个基准上验证了 CoNT，包括机器翻译、摘要生成、代码注释生成、数据到文本生成和常识生成。实验结果表明，CoNT 在所有十个基准上都以令人信服的差距明显优于常规训练框架。特别地，CoNT 分别在机器翻译上以 1.50 BLEU、在摘要生成上以 1.77 ROUGE-1 超越先前最具竞争力的文本生成对比学习方法。它在摘要生成、代码注释生成（无外部数据）和数据到文本生成上达到了新的 state-of-the-art。
引用
@article{arxiv.2205.14690,
title = {CoNT: Contrastive Neural Text Generation},
author = {Chenxin An and Jiangtao Feng and Kai Lv and Lingpeng Kong and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:2205.14690},
year = {2023}
}
备注
Accepted by NeurIPS 2022