Meltemi：首个面向希腊语的开源大语言模型
计算与语言
2024-07-31 v1
摘要
我们描述了 Meltemi 7B 的开发过程和能力，这是首个面向希腊语的开源大语言模型。Meltemi 7B 拥有 70 亿个参数，并在一个包含 400 亿词元的希腊语语料库上进行了训练。为了开发 Meltemi 7B，我们通过在希腊语语料库上进行持续预训练来适配 Mistral。Meltemi 7B 包含截至 2023 年 9 月的最新信息。此外，我们还翻译并整理了一个希腊语指令语料库，该语料库已用于对一个名为 Meltemi 7B Instruct 的聊天模型进行指令微调。对于 Meltemi 7B Instruct，我们特别关注了对齐和去除有害内容。我们在一系列收集的评估语料库上对所开发的模型进行了评估，并展示了提示和响应的示例。Meltemi 7B 和 Meltemi 7B Instruct 均在 Apache 2.0 许可下于 https://huggingface.co/ilsp 提供。
引用
@article{arxiv.2407.20743,
title = {Meltemi: The first open Large Language Model for Greek},
author = {Leon Voukoutis and Dimitris Roussis and Georgios Paraskevopoulos and Sokratis Sofianopoulos and Prokopis Prokopidis and Vassilis Papavasileiou and Athanasios Katsamanis and Stelios Piperidis and Vassilis Katsouros},
journal= {arXiv preprint arXiv:2407.20743},
year = {2024}
}