XeroAlign：零样本跨语言Transformer对齐
计算与语言
2021-10-26 v2
摘要
预训练跨语言语言模型的引入为 multilingual NLP任务带来了决定性的改进。然而，标注任务数据的缺乏 necessitates 各种旨在缩小与高资源语言差距的方法。特别是零样本方法，常使用翻译后的任务数据作为训练信号，以弥合源语言与目标语言之间的性能差距。我们提出XeroAlign，一种用于跨语言预训练Transformer（如XLM-R）任务特定对齐的简单方法。XeroAlign利用翻译后的任务数据促使模型为不同语言生成相似的句子嵌入。经XeroAlign对齐的XLM-R，称为XLM-RA，相较基线模型表现出强劲提升，在三个多语言自然语言理解任务上实现了最先进的零样本结果。XLM-RA的文本分类准确率超过使用标注数据训练的XLM-R，并在跨语言对抗释义任务上与最先进模型表现相当。
引用
@article{arxiv.2105.02472,
title = {XeroAlign: Zero-Shot Cross-lingual Transformer Alignment},
author = {Milan Gritta and Ignacio Iacobacci},
journal= {arXiv preprint arXiv:2105.02472},
year = {2021}
}
备注
Findings of ACL 2021 - Code: https://github.com/huawei-noah/noah-research/tree/master/xero_align