面向荷兰语大语言模型的语言资源
计算与语言
2023-12-21 v1 人工智能
摘要
尽管大语言模型的类型在快速扩展，但专门针对荷兰语设计的模型仍存在显著空白。这种空白不仅体现在预训练荷兰语模型的短缺上，也体现在数据、基准测试和排行榜的缺乏上。本研究为改善这一状况迈出了一小步。首先，我们引入了 Llama 2 13B 模型的两个微调变体。我们首先使用荷兰语特定的网络抓取数据对 Llama 2 进行微调，随后在多个合成指令和聊天数据集上对该模型进行进一步优化。这些数据集及模型权重均已公开。此外，我们提供了一个排行榜以追踪（荷兰语）模型在多项生成任务上的性能，并包含了多个 SOTA 模型（包括我们自己的模型）的结果。最后，我们就推动荷兰语模型及其整个生态系统所需的条件提供了批判性结论。
引用
@article{arxiv.2312.12852,
title = {Language Resources for Dutch Large Language Modelling},
author = {Bram Vanroy},
journal= {arXiv preprint arXiv:2312.12852},
year = {2023}
}