面向十九世纪英语的神经网络语言模型
计算与语言
2021-05-25 v1 机器学习
摘要
我们提出了四类在大型历史英语书籍数据集上训练的神经网络语言模型，该数据集出版于1760至1900年间，包含约51亿个词符。语言模型架构包括静态模型（word2vec 和 fastText）与上下文模型（BERT 和 Flair）。对于每种架构，我们使用完整数据集训练了一个模型实例。此外，对于两种静态模型，我们在1850年以前出版的文本上分别训练了独立实例；对于 BERT，我们考虑不同时间切片训练了四个实例。我们的模型已用于多种下游任务，并持续提升了性能。本文中，我们描述了模型的构建方式，并概述其复用潜力。
引用
@article{arxiv.2105.11321,
title = {Neural Language Models for Nineteenth-Century English},
author = {Kasra Hosseini and Kaspar Beelen and Giovanni Colavizza and Mariona Coll Ardanuy},
journal= {arXiv preprint arXiv:2105.11321},
year = {2021}
}
备注
5 pages, 1 figure