一种用于神经文本生成的对比框架

文本生成对许多自然语言处理应用至关重要。然而，神经语言模型基于最大化的解码方法（如束搜索）常导致退化解——生成文本不自然且含不良重复。现有方法通过采样引入随机性，或修改训练目标以降低某些词元概率（如非似然训练），但常导致缺乏连贯性的解。本工作中，我们表明模型退化的一个潜在原因是词元表示的各向异性分布。我们提出一种对比解：(i) SimCTG，一种用于校准模型表示空间的对比训练目标；以及 (ii) 一种解码方法——对比搜索——在保持生成文本连贯性的同时促进多样性。在两种语言三个基准上的大量实验与分析表明，我们所提方法在人工与自动指标评估下均显著优于当前最先进的文本生成方法。