大语言模型跨类型多样语言共享潜在语法概念的表征
计算与语言
2025-05-26 v2
摘要
人类双语者通常使用相似的大脑区域处理多种语言，这取决于他们学习第二语言的时间和熟练程度。在大语言模型(LLMs)中，多种语言是如何学习和编码的？在这项工作中，我们探索了LLMs在多大程度上跨语言共享形态句法概念(如语法数、性和时态)的表征。我们在Llama-3-8B和Aya-23-8B上训练稀疏自编码器，并证明抽象语法概念通常编码在多种语言共享的特征方向上。我们使用因果干预来验证这些表征的多语言性质；具体地，我们表明仅消融多语言特征就会使分类器性能在所有语言上降至接近随机水平。然后，我们利用这些特征在机器翻译任务中精确修改模型行为；这证明了这些特征在网络中的作用的通用性和选择性。我们的发现表明，即使主要基于英语数据训练的模型也能发展出稳健的跨语言形态句法概念抽象。
引用
@article{arxiv.2501.06346,
title = {Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages},
author = {Jannik Brinkmann and Chris Wendler and Christian Bartelt and Aaron Mueller},
journal= {arXiv preprint arXiv:2501.06346},
year = {2025}
}