GEITje 7B Ultra：一个面向荷兰语的对话模型
计算与语言
2024-12-06 v1
摘要
语言模型发展迅速，但主要聚焦于英语，往往忽视了其他语言的广泛预训练。这种方法催生了一些举措，旨在通过微调将强大的、以英语为中心的模型适配到其他语言环境中。对于荷兰语，近期的一项此类尝试是“GEITje”，一个最初源自基于英语的Mistral 7B的模型。在此基础工作之上，本研究通过在新创建的高质量合成对话数据集上进行监督微调，并在一个合成反馈数据集上执行额外的偏好对齐过程，扩展了GEITje的能力。所开发的模型和创建的数据集均已公开可用。
引用
@article{arxiv.2412.04092,
title = {GEITje 7B Ultra: A Conversational Model for Dutch},
author = {Bram Vanroy},
journal= {arXiv preprint arXiv:2412.04092},
year = {2024}
}