对比搜索是神经文本生成之所需

利用自回归语言模型（LMs）生成文本对众多自然语言处理（NLP）应用至关重要。该任务的先前方案常生成包含退化表达或缺乏语义一致性的文本。近期，Su等人基于语言模型的各向同性表示空间引入了一种新的解码方法——对比搜索（contrastive search），并在多个基准上取得新的最优结果（SOTA）。此外，Su等人主张自回归LMs（如GPT-2）的表示本质上是各向异性的，此前研究亦持此观点。因此，为确保语言模型遵循各向同性分布，Su等人提出了一种对比学习方案SimCTG，通过额外训练校准语言模型的表示。本研究中，我们首先回答一个问题：“自回归LMs真的各向异性吗？”。为此，我们跨16种主要语言广泛评估了LMs的各向同性。令人惊讶的是，我们发现各向异性问题仅存在于两个特定的英文GPT-2-small/medium模型中。另一方面，所有其他被评估的LMs天然各向同性，这与先前研究得出的结论相反。基于我们的发现，我们进一步使用现成LMs在跨16种语言的四个生成任务上评估对比搜索解码方法。实验结果表明，对比搜索无需任何额外训练即显著优于先前解码方法。更值得注意的是，在16种评估语言中的12种上，根据人工评估，对比搜索表现与人工水平相当。我们的代码及其他相关资源公开于 https://github.com/yxuansu/Contrastive_Search_Is_What_You_Need。