MultiFiT：高效多语言语言模型微调
计算与语言
2020-06-05 v2 机器学习
摘要
预训练语言模型尤其对低资源语言具有前景，因为它们仅需要无标注数据。然而，训练现有模型需要大量计算资源，而预训练的多语言模型在低资源语言上往往表现不佳。我们提出了多语言语言模型微调（MultiFiT），以使从业者能够用自己的语言高效地训练和微调语言模型。此外，我们提出了一种使用现有预训练多语言模型的零样本方法。我们在两个广泛使用的跨语言分类数据集上评估了我们的方法，其性能优于在数量和计算量上高出数个数量级的预训练模型。我们发布了所有模型和代码。
引用
@article{arxiv.1909.04761,
title = {MultiFiT: Efficient Multi-lingual Language Model Fine-tuning},
author = {Julian Martin Eisenschlos and Sebastian Ruder and Piotr Czapla and Marcin Kardas and Sylvain Gugger and Jeremy Howard},
journal= {arXiv preprint arXiv:1909.04761},
year = {2020}
}
备注
Proceedings of EMNLP-IJCNLP 2019