Polish 大型语言模型 PLLuM
计算与语言
2025-11-07 v1 人工智能
摘要
大型语言模型 (LLM) 在现代人工智能中占据核心地位，但其开发主要聚焦于英语，导致其他语言支持有限。我们提出了 PLLuM (Polish Large Language Model)，这是一套专为波兰语语言量身定制的、最大的开源基础模型。由波兰主要科研机构组成的联合实验室开发了 PLLuM，以满足超越英语中心商业领域、为波兰语提供高质量、透明且具有文化相关性的语言模型的需求。我们描述了开发过程，包括构建新的 1400 亿 token 波兰语文本语料进行预训练、77k 自定义指令数据集以及 100k 偏好优化数据集。关键组件是包含严格数据治理和用于输出纠正和安全过滤的混合模块的负责任 AI 框架。我们详细描述了模型的架构、训练程序和对齐技术，用于 base 和 instruction-tuned 变体，并在公共行政部门的一个下游任务中展示了其实用性。通过公开发布这些模型，PLLuM 旨在促进开放研究并强化波兰的主权 AI 技术。
引用
@article{arxiv.2511.03823,
title = {PLLuM: A Family of Polish Large Language Models},
author = {Jan Kocoń and Maciej Piasecki and Arkadiusz Janz and Teddy Ferdinan and Łukasz Radliński and Bartłomiej Koptyra and Marcin Oleksy and Stanisław Woźniak and Paweł Walkowiak and Konrad Wojtasik and Julia Moska and Tomasz Naskręt and Bartosz Walkowiak and Mateusz Gniewkowski and Kamil Szyc and Dawid Motyka and Dawid Banach and Jonatan Dalasiński and Ewa Rudnicka and Bartłomiej Alberski and Tomasz Walkowiak and Aleksander Szczęsny and Maciej Markiewicz and Tomasz Bernaś and Hubert Mazur and Kamil Żyta and Mateusz Tykierko and Grzegorz Chodak and Tomasz Kajdanowicz and Przemysław Kazienko and Agnieszka Karlińska and Karolina Seweryn and Anna Kołos and Maciej Chrabąszcz and Katarzyna Lorenc and Aleksandra Krasnodębska and Artur Wilczek and Katarzyna Dziewulska and Paula Betscher and Zofia Cieślińska and Katarzyna Kowol and Daria Mikoś and Maciej Trzciński and Dawid Krutul and Marek Kozłowski and Sławomir Dadas and Rafał Poświata and Michał Perełkiewicz and Małgorzata Grębowiec and Maciej Kazuła and Marcin Białas and Roman Roszko and Danuta Roszko and Jurgita Vaičenonienė and Andrius Utka and Paweł Levchuk and Paweł Kowalski and Irena Prawdzic-Jankowska and Maciej Ogrodniczuk and Monika Borys and Anna Bulińska and Wiktoria Gumienna and Witold Kieraś and Dorota Komosińska and Katarzyna Krasnowska-Kieraś and Łukasz Kobyliński and Martyna Lewandowska and Marek Łaziński and Mikołaj Łątkowski and Dawid Mastalerz and Beata Milewicz and Agnieszka Anna Mykowiecka and Angelika Peljak-Łapińska and Sandra Penno and Zuzanna Przybysz and Michał Rudolf and Piotr Rybak and Karolina Saputa and Aleksandra Tomaszewska and Aleksander Wawer and Marcin Woliński and Joanna Wołoszyn and Alina Wróblewska and Bartosz Żuk and Filip Żarnecki and Konrad Kaczyński and Anna Cichosz and Zuzanna Deckert and Monika Garnys and Izabela Grabarczyk and Wojciech Janowski and Sylwia Karasińska and Aleksandra Kujawiak and Piotr Misztela and Maria Szymańska and Karolina Walkusz and Igor Siek and Jakub Kwiatkowski and Piotr Pęzik},
journal= {arXiv preprint arXiv:2511.03823},
year = {2025}
}
备注
83 pages, 19 figures