极低资源语言建模中上下文的重要性
计算与语言
2022-05-11 v1
摘要
本文研究在可用句子少于十万时的极低资源语言模型预训练。我们发现，在极低资源场景下，统计 n-gram 语言模型优于最先进的神经模型。我们的实验表明，这主要归因于前者对局部上下文的关注。据此，我们引入三种方法来提升神经模型在低资源设定下的性能，发现限制模型自注意力是最有效的一种，在我们测试的英语、印地语和土耳其语上，将 NLI 与 POS 标注等下游任务提升至多 5%。
引用
@article{arxiv.2205.04810,
title = {The Importance of Context in Very Low Resource Language Modeling},
author = {Lukas Edman and Antonio Toral and Gertjan van Noord},
journal= {arXiv preprint arXiv:2205.04810},
year = {2022}
}