EuroLLM-9B：技术报告
计算与语言
2025-06-18 v2 人工智能
机器学习
摘要
本报告介绍 EuroLLM-9B，这是一个从头训练的大语言模型，旨在满足欧洲公民的需求，覆盖所有 24 种欧盟官方语言以及 11 种额外语言。EuroLLM 旨在解决欧洲语言在现有开源大语言模型中被低估和不足的问题。我们提供了 EuroLLM-9B 开发的全面概述，包括词汇化器设计、架构规格、数据过滤和训练程序。我们描述了预训练数据收集和过滤管道，包括创建 EuroFilter 基于 AI 的多语言过滤器，以及设计 EuroBlocks-Synthetic 用于后训练的新型合成数据集，以增强欧洲语言的覆盖度。评估结果表明，EuroLLM-9B 在多语言基准和机器翻译任务上表现具有竞争力，建立为该规模下领先的开源欧洲制造 LLM。为支持开放研究和采用，我们发布了本工作的所有主要组件，包括基础模型和指令调优模型、EuroFilter 分类器以及合成后训练数据集。
引用
@article{arxiv.2506.04079,
title = {EuroLLM-9B: Technical Report},
author = {Pedro Henrique Martins and João Alves and Patrick Fernandes and Nuno M. Guerreiro and Ricardo Rei and Amin Farajian and Mateusz Klimaszewski and Duarte M. Alves and José Pombal and Nicolas Boizard and Manuel Faysse and Pierre Colombo and François Yvon and Barry Haddow and José G. C. de Souza and Alexandra Birch and André F. T. Martins},
journal= {arXiv preprint arXiv:2506.04079},
year = {2025}
}
备注
56 pages