MTEB：大规模文本嵌入基准
计算与语言
2023-03-21 v3 信息检索
机器学习
摘要
文本嵌入通常在单一任务的小规模数据集上评估，未覆盖其应用于其他任务的可能。尚不清楚语义文本相似度（STS）上的最先进嵌入能否同等地良好应用于聚类或重排序等其他任务。这使得领域进展难以追踪，因为各类模型不断被提出却缺乏恰当评估。为解决该问题，我们引入大规模文本嵌入基准（MTEB）。MTEB 涵盖 8 类嵌入任务，共 58 个数据集与 112 种语言。通过对 33 个模型在 MTEB 上的基准测试，我们建立了迄今最全面的文本嵌入基准。我们发现，没有哪种特定文本嵌入方法在所有任务上均占优。这表明该领域尚未收敛于一种通用文本嵌入方法并将其充分扩展，以在所有嵌入任务上提供最先进结果。MTEB 附带开源代码与公开排行榜：https://github.com/embeddings-benchmark/mteb。
引用
@article{arxiv.2210.07316,
title = {MTEB: Massive Text Embedding Benchmark},
author = {Niklas Muennighoff and Nouamane Tazi and Loïc Magne and Nils Reimers},
journal= {arXiv preprint arXiv:2210.07316},
year = {2023}
}
备注
24 pages, 14 tables, 6 figures