Soro：为塔吉克语打造的轻量级基础模型与聊天机器人
人工智能
2026-05-29 v2 计算与语言
摘要
本文介绍Soro——一套为塔吉克语专门设计的对话式大语言模型（LLM），旨在满足塔吉克斯坦实际部署时计算资源有限和网络连接不稳的约束条件。我们基于开源Gemma 3检查点，首先在覆盖经过滤选后的网页文本、PDF文档及课程对齐教育材料的19亿token语料库上进行仅塔吉克语的持续预训练，然后在4万个塔吉克语教师风格示例上进行监督式指令微调。为弥补塔吉克语在标准基准测试中覆盖不足的限制，我们构建了一套涵盖通用知识、语言能力以及学校和大学入学考试领域的塔吉克语基准测试，并已在Hugging Face上开源。跨这些塔吉克语基准测试，Soro在相同规模的Gemma 3基线模型上取得显著优势，同时保持在标准数据集上的强大英文性能。我们进一步表明，Soro的FP8和INT4量化能够保留大部分塔吉克语语言能力，同时大幅降低边缘部署的内存需求，支持正在进行的教育部门试点项目，并计划在塔吉克斯坦全校范围内推广。
引用
@article{arxiv.2605.27379,
title = {Soro: A Lightweight Foundation Model and Chatbot for Tajik},
author = {Stanislav Liashkov and Haitz Sáez de Ocáriz Borde and Azizjon Azimi and Khushbakht Shoymardonov and Shuhratjon Khalilbekov and Bonu Boboeva},
journal= {arXiv preprint arXiv:2605.27379},
year = {2026}
}