多语言预训练语言模型的事实一致性
计算与语言
2024-04-05 v1 机器学习
摘要
预训练语言模型可被查询事实知识，在知识库获取和需要推理的任务中具有潜在应用。然而，为此我们需要知晓这些知识的可靠程度，近期工作表明单语英语语言模型在预测事实知识时缺乏一致性，即其对描述同一事实的释义填空结果不同。本文将一致性分析扩展至多语言设定。我们引入资源 mParaRel，并研究（i）mBERT 和 XLM-R 等多语言语言模型是否比其单语对应模型更具一致性；以及（ii）此类模型在不同语言间是否同样一致。我们发现 mBERT 在英语释义中与英语 BERT 同样不一致，但 mBERT 和 XLM-R 在英语中均表现出高度不一致，且在其他 45 种语言中所有语言的不一致性更甚。
引用
@article{arxiv.2203.11552,
title = {Factual Consistency of Multilingual Pretrained Language Models},
author = {Constanza Fierro and Anders Søgaard},
journal= {arXiv preprint arXiv:2203.11552},
year = {2024}
}