单语模型的跨语言迁移
计算与语言
2022-05-20 v2 机器学习
摘要
近期使用多语模型的零样本跨语言学习研究推翻了先前关于共享词表和联合预训练是跨语言泛化关键因素的假设。受此进展启发，我们引入了一种基于领域自适应的单语模型跨语言迁移方法。我们研究了从四种不同语言到英语的此类迁移效果。我们在 GLUE 上的实验结果表明，无论源语言为何，迁移后的模型均优于原生的英语模型。在探测迁移前后表示中所编码的英语语言知识后，我们发现语义信息从源语言保留，而句法信息在迁移过程中习得。此外，在源语言任务上评估迁移后模型的结果表明，其在源领域的性能在迁移后发生退化。
引用
@article{arxiv.2109.07348,
title = {Cross-lingual Transfer of Monolingual Models},
author = {Evangelia Gogoulou and Ariel Ekgren and Tim Isbister and Magnus Sahlgren},
journal= {arXiv preprint arXiv:2109.07348},
year = {2022}
}
备注
Accepted to LREC 2022