NorwAI的大型语言模型技术报告
计算与语言
2026-01-09 v2
摘要
挪威语约有五百万使用者,在自然语言处理（NLP）领域许多重大突破性成果中仍处于欠represent状态。为弥合这一差距,NorwAI团队开发了一系列专为挪威语及其他斯堪的纳维亚语量身定制的大型语言模型,基于多样化的Transformer架构如GPT、Mistral、Llama2、Mixtral和Magistral。这些模型要么是从头预训练,要么在25B-88.45B标记上持续预训练,使用挪威扩展分词器和先进的后训练策略以优化性能、增强鲁棒性并提高在各种实际任务中的适应性。值得注意的是,经过指令微调的变体（如Mistral-7B-Instruct和Mixtral-8x7B-Instruct）展示出强大的助理式能力,凸显其在交互式和领域特定应用中的实际部署潜力。NorwAI的大型语言模型向北欧组织、企业和学生开放,供研究和实验使用。本报告提供了模型架构、训练数据、分词器设计、微调策略、部署及评估的详细文档。
关键词
引用
@article{arxiv.2601.03034,
title = {NorwAI's Large Language Models: Technical Report},
author = {Jon Atle Gulla and Peng Liu and Lemei Zhang},
journal= {arXiv preprint arXiv:2601.03034},
year = {2026}
}