LinguaMap：大语言模型的哪些层在说你的语言以及如何微调它们？
计算与语言
2026-03-24 v2 人工智能
机器学习
摘要
尽管进行了多语言预训练，大语言模型在处理非英语任务时仍经常遇到困难，尤其是在语言控制（即用预期语言回应的能力）方面。我们识别并刻画了两种关键的失败模式：多语言迁移瓶颈（语言正确，任务回应错误）和语言一致性瓶颈（任务回应正确，语言错误）。为了系统性地揭示这些问题，我们设计了一个涵盖MMLU、MGSM和XQuAD基准测试的四场景评估协议。为了通过可解释性探究这些问题，我们将logit透镜分析扩展到逐层跟踪语言概率，并计算隐藏状态的跨语言语义相似度。结果揭示了一个三阶段内部结构：早期层将输入对齐到共享语义空间，中间层执行任务推理，晚期层驱动特定语言的生成。在这些发现的指导下，我们引入了仅对负责语言控制的最终层进行选择性微调。在Qwen-3-32B和Bloom-7.1B上，该方法在仅微调3-5%参数的情况下，在六种语言上实现了超过98%的语言一致性，且不牺牲任务准确率。重要的是，这一结果与全参数微调几乎相同（例如，两种方法在所有提示场景下均达到98%以上的语言一致性），但使用的计算资源却少得多。据我们所知，这是首次利用语言控制的层定位来实现高效多语言适配的方法。
引用
@article{arxiv.2601.20009,
title = {LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?},
author = {J. Ben Tamo and Daniel Carlander-Reuterfelt and Jonathan Rubin and Dezhi Hong and Mingxian Wang and Oleg Poliannikov},
journal= {arXiv preprint arXiv:2601.20009},
year = {2026}
}