迈向超越英语中心化发展的大语言模型
计算与语言
2026-05-18 v1
摘要
通过对开放权重的大语言模型（LLM）生成的序列进行分析，我们证明了大语言模型严重偏向英语。虽然持续预训练通常用于使大语言模型适应目标语言，但我们表明，即使在提升目标语言的文化理解方面，它相对于从头开始训练也并不具备成本优势。这些发现表明，对于未来大语言模型的发展，针对每种语言的专项投入可能变得越来越重要，而不是主要依赖于英语中心化资源的扩展。
引用
@article{arxiv.2605.15613,
title = {Toward LLMs Beyond English-Centric Development},
author = {Sho Takase and Ukyo Honda},
journal= {arXiv preprint arXiv:2605.15613},
year = {2026}
}