Arctic-Embed：可扩展、高效且准确的文本嵌入模型
计算与语言
2024-05-10 v1 人工智能
信息检索
摘要
本报告描述了 \texttt{arctic-embed} 文本嵌入模型系列（包含五个模型，参数量从 2200 万到 3.34 亿不等，权重在 Apache-2 许可下开源）背后的训练数据集构建与训练方案。在发布时，每个模型都在 MTEB Retrieval 排行榜上取得了同等规模模型中最优的检索准确率，其中最大的模型 arctic-embed-l 优于 Cohere 的 embed-v3 和 OpenAI 的 text-embed-3-large 等闭源嵌入模型。除了训练方案的细节外，我们还提供了几项信息丰富的消融研究，我们认为这些是模型性能优异的原因。
引用
@article{arxiv.2405.05374,
title = {Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models},
author = {Luke Merrick and Danmei Xu and Gaurav Nuti and Daniel Campos},
journal= {arXiv preprint arXiv:2405.05374},
year = {2024}
}
备注
17 pages, 11 Figures, 9 tables