为何我们构建本地大型语言模型：来自35个日本及多语言LLM的观察性分析
计算与语言
2025-10-17 v2
摘要
我们为何要构建本地大型语言模型（LLM）？本地LLM应从目标语言中学习什么？哪些能力可以从其他语言转移？是否存在语言特定的规模化法则？为探索这些研究问题，我们在19个用于日本语和英语的评估基准上对35个日本语、英语和多语言LLM进行评估，以日本语作为本地语言。采用观察性方法，我们分析了基准得分之间的相关性，并对得分进行主成分分析（PCA），以推导本地LLM的"能力因子"。我们发现，训练在英语文本上可提高日本语（JMMLU）学科得分。在此基础上，专门训练日本语文本以提升解决日本代码生成、算术推理、常识和阅读理解任务的能力是不必要的。相反，训练日本语文本可提高关于日本知识的问答任务和英日翻译任务，这表明这两个任务的能力可视为LLM的"日本能力"。此外，我们确认了日本能力随日本语文本计算预算的比例增长。
引用
@article{arxiv.2412.14471,
title = {Why We Build Local Large Language Models: An Observational Analysis from 35 Japanese and Multilingual LLMs},
author = {Koshiro Saito and Sakae Mizuki and Masanari Ohi and Taishi Nakamura and Taihei Shiotani and Koki Maeda and Youmi Ma and Kakeru Hattori and Kazuki Fujii and Takumi Okamoto and Shigeki Ishida and Hiroya Takamura and Rio Yokota and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2412.14471},
year = {2025}
}
备注
Accepted as a spotlight at the 1st workshop on Multilingual and Equitable Language Technologies (MELT), COLM 2025