基于元学习的软层选择用于零样本跨语言迁移
计算与语言
2021-07-22 v1
摘要
多语言预训练上下文嵌入模型（Devlin et al., 2019）在零样本跨语言迁移任务上取得了令人印象深刻的性能。寻找最有效的高资源语言微调策略以微调这些模型，从而使其良好迁移到零样本语言，是一项非平凡的任务。在本文中，我们提出一种新颖的元优化器，以软选择预训练模型在微调期间冻结哪些层。我们通过模拟零样本迁移场景来训练该元优化器。跨语言自然语言推理上的结果表明，我们的方法优于简单微调基线和 X-MAML（Nooralahzadeh et al., 2020）。
引用
@article{arxiv.2107.09840,
title = {Soft Layer Selection with Meta-Learning for Zero-Shot Cross-Lingual Transfer},
author = {Weijia Xu and Batool Haider and Jason Krone and Saab Mansour},
journal= {arXiv preprint arXiv:2107.09840},
year = {2021}
}
备注
MetaNLP at ACL 2021