追踪多语言语言模型中事实的根源：独立、共享与迁移知识
计算与语言
2024-03-11 v1 人工智能
摘要
为语言模型（LM）获取低资源语言的事实知识构成严峻挑战，因此需依赖多语言语言模型（ML-LM）中的跨语言迁移。本研究探讨 ML-LM 如何获取并表示事实知识。利用多语言事实知识探测数据集 mLAMA，我们首先对 ML-LM（具体为多语言 BERT）进行了神经元分析。随后，我们将事实根源追溯至知识源（Wikipedia），以识别 ML-LM 获取特定事实的方式。最后，我们确定了 ML-LM 中获取和表示事实的三种模式：语言独立型、跨语言共享型及迁移型，并设计了区分这些模式的方法。我们的发现凸显了在不同语言间保持一致事实知识的挑战，强调了在 ML-LM 中改进事实表示学习的必要性。
引用
@article{arxiv.2403.05189,
title = {Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge},
author = {Xin Zhao and Naoki Yoshinaga and Daisuke Oba},
journal= {arXiv preprint arXiv:2403.05189},
year = {2024}
}
备注
EACL 2024 main conference