Persian-Phi：通过课程学习实现紧凑型 LLM 的高效跨语言适配
计算与语言
2025-12-09 v1 人工智能
摘要
AI 的民主化目前受到为低资源语言训练大语言模型（LLMs）所需巨大计算成本的阻碍。本文提出了 Persian-Phi，一个拥有 38 亿参数的模型，挑战了鲁棒多语言能力需要大规模模型规模或多语言基线的假设。我们展示了如何通过一种新颖的资源高效课程学习流水线，将 Microsoft Phi-3 Mini——最初是一个单语英语模型——有效适配到波斯语。我们的方法采用独特的「预热」阶段，使用双语叙事（Tiny Stories）在重训练之前对齐嵌入，随后通过参数高效微调（PEFT）进行持续预训练和指令微调。尽管其规模紧凑，Persian-Phi 在 HuggingFace 上的 Open Persian LLM 排行榜上取得了具有竞争力的结果。我们的发现为将最先进 LLM 的覆盖范围扩展到资源匮乏语言提供了一个经过验证的、可扩展的框架，且仅需最少的硬件资源。Persian-Phi 模型在 https://huggingface.co/amirakhlaghiqqq/PersianPhi 公开发布。
引用
@article{arxiv.2512.07454,
title = {Persian-Phi: Efficient Cross-Lingual Adaptation of Compact LLMs via Curriculum Learning},
author = {Amir Mohammad Akhlaghi and Amirhossein Shabani and Mostafa Abdolmaleki and Saeed Reza Kheradpisheh},
journal= {arXiv preprint arXiv:2512.07454},
year = {2025}
}