多语言预训练语言模型在不同语言中是否呈现一致的词元归因？
计算与语言
2021-12-24 v1
摘要
在过去几年中，大量多语言预训练语言模型（PLMs）被提出，以在许多跨语言下游任务中达到最先进的性能。然而，对于多语言PLMs为何表现良好仍属开放领域。例如，多语言PLMs是否在不同语言中呈现一致的词元归因尚不清楚。为此，本文提出一个跨语言词元归因一致性（CCTA）评估框架。在三个下游任务上的大量实验表明，多语言PLMs对多语言同义词赋予显著不同的归因。此外，我们有如下观察：1）当用于训练PLMs时，西班牙语在不同语言中实现了最一致的词元归因；2）词元归因的一致性与下游任务性能强相关。
引用
@article{arxiv.2112.12356,
title = {Do Multi-Lingual Pre-trained Language Models Reveal Consistent Token Attributions in Different Languages?},
author = {Junxiang Wang and Xuchao Zhang and Bo Zong and Yanchi Liu and Wei Cheng and Jingchao Ni and Haifeng Chen and Liang Zhao},
journal= {arXiv preprint arXiv:2112.12356},
year = {2021}
}