基于Matryoshka嵌入学习的阿拉伯语语义相似性理解提升
计算与语言
2024-08-02 v2
摘要
本工作提出一种 novel 框架，通过Matryoshka嵌入学习训练阿拉伯语嵌入模型，利用多语言、阿拉伯语特定和英语基模型，凸显Matryoshka嵌入模型在阿拉伯语下游任务中的潜力。我们的创新性贡献包括将various句子相似性数据集翻译为阿拉伯语，构建综合评估框架，比较这些模型在不同维度上的表现。我们在阿拉伯自然语言推理三元组数据集上训练了多个嵌入模型，并使用Pearson相关系数、斯佩尔曼相关系数、曼哈顿距离、欧几里得距离和点积相似度等多种评估指标进行评估。结果表明，Matryoshka嵌入模型在捕捉阿拉伯语特有的语义细微差别方面表现优异，相较于传统模型在各种相似性指标上提升最高可达20-25%。这些结果凸显了语言特定训练的有效性，以及Matryoshka模型在提升阿拉伯语语义文本相似性任务中的潜力。
引用
@article{arxiv.2407.21139,
title = {Enhancing Semantic Similarity Understanding in Arabic NLP with Nested Embedding Learning},
author = {Omer Nacar and Anis Koubaa},
journal= {arXiv preprint arXiv:2407.21139},
year = {2024}
}