丢失的多语言性：解构变换器语言模型中的跨语言事实不一致
计算与语言
2025-04-08 v1
摘要
多语言语言模型在不同语言中存储事实知识，但常常难以对在不同语言中在语义上等效的提示提供一致的响应。虽然先前的研究指出了这一跨语言不一致问题，但其背后的原因仍未探索。本文使用机制可解释性方法来调查多语言语言模型中的跨语言不一致问题。我们发现，多语言语言模型通过大多数层在语言无关的概念空间中编码知识，只有在最终层过渡到语言特定的空间。期间的语言转换故障常常导致目标语言中的错误预测，即使其他语言中的答案是正确的。为缓解此不一致问题，我们提出了一种线性捷径方法，绕过最终层的计算，从而提高了预测准确率和跨语言一致性。我们的发现阐明了多语言语言模型的内部机制，并为产生更一致的事实输出提供了一种轻量、有效的方法。
引用
@article{arxiv.2504.04264,
title = {Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models},
author = {Mingyang Wang and Heike Adel and Lukas Lange and Yihong Liu and Ercong Nie and Jannik Strötgen and Hinrich Schütze},
journal= {arXiv preprint arXiv:2504.04264},
year = {2025}
}