GPT-SW3：面向北欧语言的自回归语言模型
计算与语言
2024-10-24 v3 人工智能
摘要
本文详述了开发首个面向北欧语言的原生大型生成式语言模型GPT-SW3的过程。我们涵盖了开发过程的各个部分，从数据收集与处理、训练配置与指令微调，到评估与发布策略的考量。我们希望本文能作为其他从事较小语言大型生成模型开发的研究人员的指南与参考。
引用
@article{arxiv.2305.12987,
title = {GPT-SW3: An Autoregressive Language Model for the Nordic Languages},
author = {Ariel Ekgren and Amaru Cuba Gyllensten and Felix Stollenwerk and Joey Öhman and Tim Isbister and Evangelia Gogoulou and Fredrik Carlsson and Alice Heiman and Judit Casademont and Magnus Sahlgren},
journal= {arXiv preprint arXiv:2305.12987},
year = {2024}
}