语义交汇：探究多语言语言模型训练中共享概念空间的出现与质量

训练具有高多语言覆盖范围的大型语言模型（LLM）正变得越来越重要，尤其是在单语资源稀缺的情形下。近期研究发现，LLM 在共享概念空间中处理多语言输入，这类空间被认为有助于实现泛化和跨语言迁移。然而，这些先前研究往往不采用因果方法，缺乏深入的错误分析，或仅关注最终模型，留下了这些空间在训练期间如何出现的悬置问题。我们通过激活掩码（activation patching）这一因果可解释方法，考察 EuroLLM 预训练期间语言无关概念空间的发展。我们隔离跨语言概念表征，然后注入翻译提示中，以探讨翻译是否可以独立于语言而被一致地改变。我们发现，共享概念空间会在早期出现并持续细化，但与之对齐的方式因语言而异。此外，与先前工作不同，我们的粗粒度人工分析揭示了一些看似提升的翻译质量实际上是行为偏移——例如为多义词选取词义或改为翻译而非复制跨语言同形词——所致，而非翻译能力的提升。我们的发现为跨语言对齐的训练动态以及因果可解释方法在多语言情境下提供有意义见解的条件提供了新视角。