Hala 技术报告：大规模阿拉伯语指令与翻译模型的构建

我们 presented Hala，一套以阿拉伯语为中心的指令与翻译模型，采用我们的 translate-and-tune 流水线构建。我们首先压缩强大的 AR↔EN 教师模型至 FP8（实现约 2 倍的吞吐量提升且无质量损失），并用于创建高保真双语监督数据。随后，一个轻量语言模型 LFM2-1.2B 在此数据上进行微调，并用于将高质量英文指令集翻译成阿拉伯语，产生规模为百万级的针对指令跟随的阿拉伯语语料库。我们在 350M、700M、1.2B 和 9B 参数规模上训练 Hala 模型，并应用 slerp 融合技术平衡阿拉伯语专业化与基础模型优势。在阿拉伯语中心基准测试中，Hala 在较小（nano，≤2B）和小型（7-9B）类别中均实现最新成果，超越其基础模型。我们发布模型、数据、评估工具和训练配方，以加速阿拉伯语自然语言处理领域的研究。