用于序列标注的小型实用BERT模型
计算与语言
2019-09-04 v1
摘要
我们提出了一种实用方案, 用于训练单一多语言序列标注模型, 其达到最先进结果, 且足够小和快以在单个CPU上运行。从公开的多语言BERT检查点出发, 我们的最终模型缩小6倍、加速27倍, 且比最先进的多语言基线具有更高准确率。我们表明我们的模型尤其在低资源语言上表现优异, 并且能在代码混合输入文本上工作而无需显式使用代码混合样本训练。我们通过在70个树库和48种语言上报告词性标注和形态学预测来展示我们方法的有效性。
引用
@article{arxiv.1909.00100,
title = {Small and Practical BERT Models for Sequence Labeling},
author = {Henry Tsai and Jason Riesa and Melvin Johnson and Naveen Arivazhagan and Xin Li and Amelia Archer},
journal= {arXiv preprint arXiv:1909.00100},
year = {2019}
}
备注
11 pages including appendices; accepted to appear at EMNLP-IJCNLP 2019