前行与兴盛:利用古代文本历史的语言建模
计算与语言
2021-04-20 v1
摘要
我们引入一种通过利用“古代历史”来改进文档级语言模型(LM)的技术:即位于 LM 当前上下文窗口之外的文本。我们学习一个辅助函数,从古代历史中选择可帮助 LM 预测未来文本的片段。所选文本片段随后被直接复制到 LM 的上下文窗口中,替换预测性较弱的片段。该方法可在不更新 LM 自身参数的情况下降低预训练 LM 的困惑度。我们进一步观察到,在特定文本领域(如维基百科)训练的辅助函数也能在差异显著的领域(如科学出版物)中起作用。借助该技术,我们在维基百科文章上实现了 7% 的困惑度降低,在科学文本上实现了 12% 的困惑度降低。
引用
@article{arxiv.2104.08742,
title = {Go Forth and Prosper: Language Modeling with Ancient Textual History},
author = {Rik Koncel-Kedziorski and Noah A. Smith},
journal= {arXiv preprint arXiv:2104.08742},
year = {2021}
}