用于跨语言对齐的多层次对比学习
计算与语言
2022-03-01 v1
摘要
多语言 BERT (mBERT) 等跨语言预训练模型已在多种跨语言下游 NLP 任务中取得显著性能。本文提出一种多层次对比学习 (ML-CTL) 框架，以进一步提升预训练模型的跨语言能力。所提方法利用翻译平行数据鼓励模型为不同语言生成相似的语义嵌入。然而，与以往多数研究使用的句子级对齐不同，本文显式地将每对平行句子的词级信息整合进对比学习中。此外，提出跨零噪声对比估计 (CZ-NCE) 损失，以缓解小批量训练中浮点误差的影响。该方法显著提升了基础模型 (mBERT) 的跨语言迁移能力，并在 Xtreme 基准上以相同规模模型在多个零样本跨语言下游任务中优于其他模型。
引用
@article{arxiv.2202.13083,
title = {Multi-Level Contrastive Learning for Cross-Lingual Alignment},
author = {Beiduo Chen and Wu Guo and Bin Gu and Quan Liu and Yongchao Wang},
journal= {arXiv preprint arXiv:2202.13083},
year = {2022}
}
备注
Accepted by ICASSP 2022