Kakugo：将低资源语言蒸馏为小型语言模型
计算与语言
2026-01-21 v1 人工智能
机器学习
摘要
我们提出了 Kakugo，一种新颖且经济高效的流程，旨在仅使用语言名称作为输入，为低资源语言训练通用小型语言模型（SLM）。通过使用大型教师模型生成合成提示并翻译指令数据集，我们为 54 种低资源语言生成了训练数据和 SLM。在包括翻译、分类和问答在内的多种通用自然语言处理任务上的评估表明，我们的流程相较于基础模型持续提升了性能。每种语言的总生成和训练成本低于 50 美元，Kakugo 为社区开发特定语言的 AI 提供了一种可及的方法。
引用
@article{arxiv.2601.14051,
title = {Kakugo: Distillation of Low-Resource Languages into Small Language Models},
author = {Peter Devine and Mardhiyah Sanni and Farid Adilazuarda and Julieta Gil Loizaga and Barry Haddow},
journal= {arXiv preprint arXiv:2601.14051},
year = {2026}
}