FinBERT2：弥合大型语言模型金融特定部署差距的专门双向编码器
信息检索
2025-07-08 v2 人工智能
计算工程、金融与科学
计算与语言
摘要
在自然语言处理（NLP）中，焦点已从仅编码器的小型语言模型（如BERT）转向仅解码器的大型语言模型（LLMs），如GPT-3。然而，LLMs在金融领域的实际应用揭示了三个局限性：（1）在判别性任务上，LLMs通常表现不如微调后的BERT，尽管计算资源成本高得多，例如金融报告中的市场情绪分析；（2）在生成任务上的应用严重依赖检索增强生成（RAG）方法来提供当前和专门的信息，通用检索器在领域特定检索任务上表现欠佳；（3）在其他基于特征的场景中存在额外不足，例如主题建模。我们引入了FinBERT2，一个在高质量、金融特定语料库（320亿个token）上预训练的专门双向编码器。这代表了该参数规模模型已知最大的中文金融预训练语料库。作为更好的骨干网络，FinBERT2可以通过以下成就弥合LLMs金融特定部署的差距：（1）判别性微调模型（Fin-Labelers）在五个金融分类任务上平均优于其他（Fin）BERT变体0.4%-3.3%，优于领先LLMs 9.7%-12.3%。（2）对比性微调模型（Fin-Retrievers）在五个金融检索任务上优于开源（例如，比BGE-base-zh平均提高6.8%）和专有（例如，比OpenAI的text-embedding-3-large平均提高4.2%）嵌入器。（3）基于FinBERT2变体，我们构建了Fin-TopicModel，能够对金融标题实现卓越的聚类和主题表示。我们的工作通过与当代LLMs的比较分析重新审视了金融BERT模型，并为在LLMs时代有效利用FinBERT提供了实用见解。
引用
@article{arxiv.2506.06335,
title = {FinBERT2: A Specialized Bidirectional Encoder for Bridging the Gap in Finance-Specific Deployment of Large Language Models},
author = {Xuan Xu and Fufang Wen and Beilin Chu and Zhibing Fu and Qinhong Lin and Jiaqi Liu and Binjie Fei and Yu Li and Linna Zhou and Zhongliang Yang},
journal= {arXiv preprint arXiv:2506.06335},
year = {2025}
}