$N$-gram 回归：基于 $n$-gram 语言模型的神经文本生成残差学习

Huayang Li; Deng Cai; Jin Xu; Taro Watanabe

$N$-gram 回归：基于 $n$-gram 语言模型的神经文本生成残差学习

计算与语言 2022-11-04 v3 人工智能

作者: Huayang Li , Deng Cai , Jin Xu , Taro Watanabe

摘要

$N$ -gram 语言模型（LM）已在很大程度上被神经语言模型所取代，因为后者表现出更好的性能。然而，我们发现 $n$ -gram 模型在很大比例的测试用例上能够取得令人满意的性能，这表明它们以相对较低的计算成本已经捕获了丰富的语言知识。基于这一观察，我们提出学习一个神经语言模型，以拟合 $n$ -gram 语言模型与真实数据分布之间的残差。 $n$ -gram 与神经语言模型的结合，不仅使神经部分能够专注于更深层的语言理解，还提供了一种灵活的方式来定制语言模型，即在不改变神经模型的情况下切换底层的 $n$ -gram 模型。在三个典型语言任务（即语言建模、机器翻译和摘要）上的实验结果表明，我们的方法相较于流行的独立神经模型持续获得了额外的性能提升。我们还表明，我们的方法允许通过简单地切换到特定领域的 $n$ -gram 模型来实现有效的领域适应，而无需任何额外训练。我们的代码已发布于 https://github.com/ghrua/NgramRes。

关键词

$n$-gram 语言模型神经文本生成残差学习领域适应机器翻译

引用

@article{arxiv.2210.14431,
  title  = {$N$-gram Is Back: Residual Learning of Neural Text Generation with $n$-gram Language Model},
  author = {Huayang Li and Deng Cai and Jin Xu and Taro Watanabe},
  journal= {arXiv preprint arXiv:2210.14431},
  year   = {2022}
}

备注

Accepted to findings of EMNLP 2022

$N$-gram 回归：基于 $n$-gram 语言模型的神经文本生成残差学习

摘要

关键词

引用

备注

相关论文