语言神经元重叠模式以促进低资源语言上的跨语言迁移

当前的大语言模型 (Large Language Models, LLMs) 在提升低资源语言性能方面面临重大挑战，迫切需要无需昂贵微调的数据高效方法。从语言桥梁的视角，我们提出一种简单而有效的方法，称为 BridgeX-ICL，以提高零样例跨语言上下文学习 (Cross-lingual In-Context Learning, X-ICL) 在低资源语言上的表现。不同于已有关注语言特定神经元的工作，BridgeX-ICL 探讨了共享神经元是否能提高 LLMs 上的跨语言性能。我们基于真实的 MUSE 双语词典构建神经元探针数据，并据此定义一部分语言重叠神经元，以确保这些锚定神经元得到完全激活。随后，我们提出一种基于 HSIC 的度量方法，用于量化 LLMs 内部基于重叠神经元的语言光谱，从而指导最佳桥梁选择。在 4 个跨语言任务和 15 个来自 7 个不同语言家族的语言对（覆盖高-低和中等-低配对）上的实验验证了 BridgeX-ICL 的有效性，并提供了关于 LLMs 内部多语言机制的实证见解。代码已公开 disponible at https://github.com/xuyuemei/BridgeX-ICL。