通过持续学习探索预训练跨语言模型的微调技术
计算与语言
2020-10-06 v2 机器学习
摘要
近来，将预训练语言模型（如多语言 BERT）微调至下游跨语言任务已展现出有前景的结果。然而，微调过程不可避免地改变预训练模型的参数并削弱其跨语言能力，从而导致次优性能。为缓解此问题，我们利用持续学习在将预训练模型微调至下游任务时保留其原有的跨语言能力。实验结果表明，我们的微调方法能在句子检索任务中更好地保留预训练模型的跨语言能力。我们的方法在零样本跨语言词性标注和命名实体识别任务上也取得了优于其他微调基线的性能。
引用
@article{arxiv.2004.14218,
title = {Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning},
author = {Zihan Liu and Genta Indra Winata and Andrea Madotto and Pascale Fung},
journal= {arXiv preprint arXiv:2004.14218},
year = {2020}
}