面向零样本跨语言迁移的双语对齐预训练
计算与语言
2021-11-29 v2
摘要
多语言预训练模型在跨语言迁移学习上取得了卓越性能。一些多语言模型如mBERT，是在无标注语料上预训练的，因此模型中不同语言的嵌入可能未得到很好对齐。本文中，我们旨在通过提出一种名为词交换对齐模型（WEAM）的预训练任务来提升零样本跨语言迁移性能，该任务利用统计对齐信息作为先验知识来引导跨语言词预测。我们在多语言机器阅读理解任务MLQA与自然语言推理任务XNLI上评估了我们的模型。结果表明WEAM能显著提升零样本性能。
引用
@article{arxiv.2106.01732,
title = {Bilingual Alignment Pre-Training for Zero-Shot Cross-Lingual Transfer},
author = {Ziqing Yang and Wentao Ma and Yiming Cui and Jiani Ye and Wanxiang Che and Shijin Wang},
journal= {arXiv preprint arXiv:2106.01732},
year = {2021}
}
备注
5 pages; accepted to MRQA 2021 @ EMNLP 2021