Maistros：基于大规模推理模型进行知识蒸馏的希腊语大型语言模型
计算与语言
2026-05-05 v1
摘要
大型语言模型（LLM）在自然语言处理（NLP）领域取得了显著进展，实现了在广泛任务上的领先性能。这些改进部分归因于其日益增长的推理能力，这种能力得益于大规模训练和模型容量的增加。然而，现有LLM在解决超出训练分布范围的复杂查询时会生成错误响应，这主要源于内部知识有限或需要多步推理。为此，近期研究引入了大型推理模型（LRM），其包含显式的内部推理过程以提高响应准确性。此外，领先的LRM往往包含数百亿参数，在先进的多GPU系统上甚至需要数秒才能完成推理。这些特征限制了其在常规计算环境中的实际部署。与此同时，NLP领域的多语言LLM研究仍致力于高资源语言，但这些模型在资源匮乏语言上的表现有限，主要由于语言和文化特定的训练数据不足。本文聚焦于现代希腊语，目前仅有少量问答（QA）数据集被提出，大多数数据集主要用于模型评估。为解决希腊语QA领域的研究空白，本文作出以下贡献：（i）CulturaQA，一个由高质量的LRM生成并人工筛选的数据集，用于希腊语LLM的训练和评估；（ii）一个适用于多语言和QA任务的数据集评估框架；（iii）Maistros 8B，一个通过在CulturaQA上进行知识蒸馏和微调开发的领先开源希腊语LLM；以及（iv）对九个LLM在九个人工筛选希腊语QA数据集上的全面评估。
引用
@article{arxiv.2605.01870,
title = {Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models},
author = {Nikolaos Giarelis and Charalampos Mastrokostas and Nikos Karacapilidis},
journal= {arXiv preprint arXiv:2605.01870},
year = {2026}
}
备注
15 pages, 3 figures. Submitted to a journal