罗塞塔石碑之外：统一力与泛化动力学
计算与语言
2025-08-29 v2 人工智能
摘要
大型语言模型 (LLMs) 在跨语言知识迁移方面存在挑战：当以一种语言提问时，若训练中表达了不同语言的事实，模型会产生幻觉。本文通过从头训练小型 Transformer 模型于合成多语言数据集，构建受控环境以研究此现象的成因与动力学。我们识别出一种学习阶段，模型会发展出对同一事实在不同语言中的独立或统一表征，证明统一表征是跨语言迁移的关键。我们还展示了统一程度取决于事实与训练数据语言之间的互信息，以及提取该语言的难易程度。基于这些洞见，我们开发了方法，通过操控数据分布和分词来调节跨语言迁移的程度，并引入指标和可视化工具以形式化刻画其对统一性的影响。我们的工作表明，受控环境能够阐明预训练动力学，并为改进 LLMs 的跨语言迁移提供了新方向。
引用
@article{arxiv.2508.11017,
title = {Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics},
author = {Carter Blum and Katja Filippova and Ann Yuan and Asma Ghandeharioun and Julian Zimmert and Fred Zhang and Jessica Hoffmann and Tal Linzen and Martin Wattenberg and Lucas Dixon and Mor Geva},
journal= {arXiv preprint arXiv:2508.11017},
year = {2025}
}