一种用于神经文本生成的极其简单的解码方法
计算与语言
2024-02-28 v2
摘要
我们引入一种极其简单、超高效且出奇有效的神经文本生成解码方法，称之为 Frustratingly Simple Decoding（FSD）。FSD 背后的思想直截了当：我们基于先前生成的文本构建一个反语言模型（anti-LM），并用该反语言模型来惩罚已生成内容在未来的生成。反语言模型可以简单实现为一个 n-gram 语言模型或一种向量化变体。如此，FSD 不引入额外模型参数且带来可忽略的计算开销（FSD 可像贪心搜索一样快）。尽管简单，FSD 出奇有效；实验表明 FSD 可以胜过迄今为止的规范方法（即 nucleus sampling）以及近期提出的几个强基线。
引用
@article{arxiv.2305.12675,
title = {A Frustratingly Simple Decoding Method for Neural Text Generation},
author = {Haoran Yang and Deng Cai and Huayang Li and Wei Bi and Wai Lam and Shuming Shi},
journal= {arXiv preprint arXiv:2305.12675},
year = {2024}
}
备注
LREC-Coling 2024