面向挪威语的大规模上下文语言建模
计算与语言
2021-04-15 v1
摘要
我们介绍正在推进的 NorLM 计划，其旨在支持挪威语（原则上也包括其他北欧语言）超大型上下文语言模型的创建与使用，包括一个即用型软件环境，以及关于数据准备与训练的经验报告。本文介绍了基于 ELMo 和 BERT 框架的首批挪威语大规模单语语言模型。除详述训练过程外，我们在一套挪威语 NLP 任务上给出了对比基准结果。更多背景信息及数据、模型和软件访问方式，请参见 http://norlm.nlpl.eu。
引用
@article{arxiv.2104.06546,
title = {Large-Scale Contextualised Language Modelling for Norwegian},
author = {Andrey Kutuzov and Jeremy Barnes and Erik Velldal and Lilja Øvrelid and Stephan Oepen},
journal= {arXiv preprint arXiv:2104.06546},
year = {2021}
}
备注
Accepted to NoDaLiDa'2021