GATE：基于 Matryoshka 表示学习与混合损失训练的通用阿拉伯语文本嵌入以增强语义文本相似度
计算与语言
2025-06-02 v1
摘要
语义文本相似度是自然语言处理中的一项关键任务，支持检索、聚类以及理解文本间语义关系等应用。然而，由于缺乏高质量数据集和预训练模型，阿拉伯语在该领域的研究仍然有限。这种资源的匮乏限制了阿拉伯语文本语义相似度的准确评估与发展。本文提出了通用阿拉伯语文本嵌入模型，该模型在 MTEB 基准的语义文本相似度任务上实现了 SOTA 性能。GATE 利用 Matryoshka 表示学习和混合损失训练方法，结合用于自然语言推理的阿拉伯语三元组数据集，这对于增强模型在需要细粒度语义理解的任务中的性能至关重要。GATE 优于包括 OpenAI 在内的更大模型，在 STS 基准上性能提升 20-25%，有效捕捉了阿拉伯语独特的语义细微差别。
引用
@article{arxiv.2505.24581,
title = {GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training},
author = {Omer Nacar and Anis Koubaa and Serry Sibaee and Yasser Al-Habashi and Adel Ammar and Wadii Boulila},
journal= {arXiv preprint arXiv:2505.24581},
year = {2025}
}