Swan 与 ArabicMTEB：方言感知、以阿拉伯语为中心、跨语言和跨文化的嵌入模型与基准测试
计算与语言
2025-02-12 v3
摘要
我们提出了 Swan，一个以阿拉伯语为中心的嵌入模型系列，涵盖小规模和大规模用例。Swan 包含两个变体：Swan-Small 基于 ARBERTv2，Swan-Large 基于 ArMistral，一个预训练的阿拉伯语大语言模型。为了评估这些模型，我们提出了 ArabicMTEB，一个全面的基准测试套件，用于评估阿拉伯语文本嵌入的跨语言、多方言、多领域和多文化性能，涵盖八个多样化任务并涉及 94 个数据集。Swan-Large 取得了最先进的结果，在大多数阿拉伯语任务上优于 Multilingual-E5-large，而 Swan-Small 始终超越 Multilingual-E5-base。我们广泛的评估表明 Swan 模型既具有方言意识又具有文化意识，在各种阿拉伯语领域表现出色，同时提供了显著的经济效益。本工作显著推进了阿拉伯语语言建模领域，并为阿拉伯语自然语言处理的未来研究和应用提供了宝贵的资源。我们的模型和基准测试可在我们的 GitHub 页面上获取。
引用
@article{arxiv.2411.01192,
title = {Swan and ArabicMTEB: Dialect-Aware, Arabic-Centric, Cross-Lingual, and Cross-Cultural Embedding Models and Benchmarks},
author = {Gagan Bhatia and El Moatez Billah Nagoudi and Abdellah El Mekki and Fakhraddin Alwajih and Muhammad Abdul-Mageed},
journal= {arXiv preprint arXiv:2411.01192},
year = {2025}
}