基于子词分词的波兰语通用语言模型微调
计算与语言
2018-10-25 v1 机器学习
机器学习
摘要
用于微调的通用语言模型 [arXiv:1801.06146]（ULMFiT）是最早用于高效归纳迁移学习的 NLP 方法之一。无监督预训练提升了英语许多 NLP 任务的性能。本文描述一种使用子词分词使 ULMFiT 适应高屈折语言的新方法。我们的方法为波兰语创造了新的最先进水平，在 PolEval'18 的任务 3 中夺得第一。经过进一步训练，我们的最终模型比第二名模型高出 35%。我们已开源预训练模型与代码。
引用
@article{arxiv.1810.10222,
title = {Universal Language Model Fine-Tuning with Subword Tokenization for Polish},
author = {Piotr Czapla and Jeremy Howard and Marcin Kardas},
journal= {arXiv preprint arXiv:1810.10222},
year = {2018}
}
备注
PolEval 2018 Workshop