同样但不同：多语言语言模型中的结构相似性与差异性
计算与语言
2024-10-15 v1 人工智能
摘要
我们利用机械可解释性中的新工具，探讨大型语言模型（LLM）的内部结构是否对应其训练语言所具有的语言结构。具体地，我们提出两个问题：（1）当两种语言采用相同的形态句法过程时，LLM是否使用相同的内部电路？（2）当两种语言需要不同的形态句法过程时，LLM是否使用不同的内部电路？我们采用英语和中文的多语言和单语言模型，对分析两个任务涉及的内部电路。我们发现证据表明，模型会独立于其出现的语言，采用相同电路来处理相同的句法过程，这即使对于完全独立训练的单语言模型也是如此。此外，我们展示了多语言模型在处理仅存在于部分语言中所需语言处理程序（例如形态标记）时，会采用特定于语言的组件（注意力头和前馈网络）。综合而言，我们的研究为如何在同时处理多个语言时在利用常见结构与保持语言差异之间进行权衡提供了新的见解。
引用
@article{arxiv.2410.09223,
title = {The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling},
author = {Ruochen Zhang and Qinan Yu and Matianyu Zang and Carsten Eickhoff and Ellie Pavlick},
journal= {arXiv preprint arXiv:2410.09223},
year = {2024}
}