斯堪的纳维亚嵌入基准：多语言和单语言文本嵌入的综合评估
计算与语言
2024-06-05 v1 人工智能
摘要
英语文本嵌入的评估已从评估少量数据集过渡到通过MTEB等基准覆盖广泛任务。然而，由于缺乏可用基准，多语言文本嵌入并非如此。为了解决这个问题，我们引入了斯堪的纳维亚嵌入基准（SEB）。SEB是一个综合框架，能够对斯堪的纳维亚语言进行文本嵌入评估，涵盖24个任务、10个子任务和4个任务类别。基于SEB，我们评估了超过26个模型，揭示了公共和商业解决方案之间以前未被MTEB捕获的显著性能差异。我们开源SEB并将其与MTEB集成，从而弥合了斯堪的纳维亚语言的文本嵌入评估差距。
引用
@article{arxiv.2406.02396,
title = {The Scandinavian Embedding Benchmarks: Comprehensive Assessment of Multilingual and Monolingual Text Embedding},
author = {Kenneth Enevoldsen and Márton Kardos and Niklas Muennighoff and Kristoffer Laigaard Nielbo},
journal= {arXiv preprint arXiv:2406.02396},
year = {2024}
}