用于文本分类的通用语言模型微调
计算与语言
2018-05-24 v5 机器学习
机器学习
摘要
归纳迁移学习已对计算机视觉产生了重大影响，但 NLP 中现有方法仍需要针对特定任务进行修改并从头训练。我们提出通用语言模型微调（ULMFiT），一种可应用于 NLP 中任意任务的有效迁移学习方法，并引入了微调语言模型的关键技术。我们的方法在六个文本分类任务上显著优于当前最优（SOTA）方法，在多数数据集上将错误率降低了 18–24%。此外，仅使用 100 个标注样本，其性能便可与使用多 100 倍数据从头训练相媲美。我们开源了预训练模型与代码。
引用
@article{arxiv.1801.06146,
title = {Universal Language Model Fine-tuning for Text Classification},
author = {Jeremy Howard and Sebastian Ruder},
journal= {arXiv preprint arXiv:1801.06146},
year = {2018}
}
备注
ACL 2018, fixed denominator in Equation 3, line 3