Qwen3 Embedding：通过基础模型提升文本嵌入与排序能力
计算与语言
2025-06-12 v3
摘要
本文介绍了 Qwen3 Embedding 系列，这一系列在文本嵌入和排序能力上都有显著提升，超越了其前身 GTE-Qwen 系列，基于 Qwen3 基础模型构建。利用 Qwen3 大语言模型在多语言文本理解与生成方面的强大能力，我们的创新性多阶段训练管道将大规模无监督预训练与在高质量数据集上的监督微调相结合。有效的模型融合策略进一步确保了 Qwen3 Embedding 系列的鲁棒性和适应性。在训练过程中，Qwen3 大语言模型不仅作为 backbone 模型发挥关键作用，还在跨多个领域和语言的高质量、丰富且多样化训练数据合成中发挥了关键作用，从而提升了训练管道的效果。Qwen3 Embedding 系列提供了0.6B、4B、8B三个模型规模，适用于嵌入和排序任务，满足不同部署场景的需求，用户可根据实际需求优化效率或效果。经empirical评估，Qwen3 Embedding 系列在多样化基准测试中均实现了最先进的结果。尤其值得注意的是，它在多语言评估基准 MTEB 上表现突出，以及在各种检索任务中，如代码检索、跨语言检索和多语言检索中都表现优异。为促进可重复性并推动社区驱动的研究与开发，Qwen3 Embedding 模型将在 Apache 2.0 许可证下公开可用。
引用
@article{arxiv.2506.05176,
title = {Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models},
author = {Yanzhao Zhang and Mingxin Li and Dingkun Long and Xin Zhang and Huan Lin and Baosong Yang and Pengjun Xie and An Yang and Dayiheng Liu and Junyang Lin and Fei Huang and Jingren Zhou},
journal= {arXiv preprint arXiv:2506.05176},
year = {2025}
}