Command R7B 阿拉伯语：一个面向企业的小型、多语言且具备文化意识的阿拉伯语大语言模型
计算与语言
2025-03-20 v1 机器学习
摘要
由于数字化阿拉伯数据的有限可用性，构建高质量的大语言模型（LLM）以用于企业阿拉伯语应用仍面临挑战。在这项工作中，我们提出了一种数据合成与精炼策略，通过利用合成数据生成和人类在环标注来扩展我们的阿拉伯语训练语料。我们进一步提出了一种迭代式后训练方案，这对于实现与人类偏好对齐的最先进性能至关重要，而这是企业用例的关键方面。该努力的成果是发布了一个小型的、7B 参数的开源模型，在与同等规模模型的头对头比较以及涵盖文化知识、指令遵循、RAG 和上下文忠实度的阿拉伯语基准测试中均表现优于同类模型。
引用
@article{arxiv.2503.14603,
title = {Command R7B Arabic: A Small, Enterprise Focused, Multilingual, and Culturally Aware Arabic LLM},
author = {Yazeed Alnumay and Alexandre Barbet and Anna Bialas and William Darling and Shaan Desai and Joan Devassy and Kyle Duffy and Stephanie Howe and Olivia Lasche and Justin Lee and Anirudh Shrinivason and Jennifer Tracey},
journal= {arXiv preprint arXiv:2503.14603},
year = {2025}
}