FinMTEB：金融大规模文本嵌入基准

嵌入模型在表示和检索信息方面发挥着关键作用，广泛应用于各类自然语言处理（NLP）任务。大语言模型（LLM）的最新进展进一步提升了嵌入模型的性能。尽管这些模型通常在通用数据集上进行评估，但实际应用需要领域特定的评估。在这项工作中，我们提出了金融大规模文本嵌入基准（FinMTEB），这是专为金融领域设计的 MTEB 对应基准。FinMTEB 涵盖 64 个金融领域特定的嵌入数据集，分布在 7 个任务中，覆盖中文和英文中的多种文本类型，如金融新闻文章、企业年报、ESG 报告、监管文件和业绩电话会议记录。我们还开发了一种金融适配模型 Fin-E5，采用基于人设的数据合成方法，以覆盖多样化的金融嵌入任务训练。通过对 15 种嵌入模型（包括 Fin-E5）的广泛评估，我们得出三项关键发现：（1）通用基准上的性能与金融领域任务之间的相关性有限；（2）领域适配模型始终优于其通用对应模型；（3）令人惊讶的是，简单的词袋（Bag-of-Words, BoW）方法在金融语义文本相似度（Semantic Textual Similarity, STS）任务上优于复杂的密集嵌入，揭示了当前密集嵌入技术的局限性。我们的工作为金融 NLP 应用建立了稳健的评估框架，并为开发领域特定的嵌入模型提供了关键见解。