LabelFusion：将大型语言模型与Transformer编码器融合用于稳健的金融新闻分类
计算与语言
2026-03-17 v2 人工智能
摘要
金融新闻在塑造投资者情绪和商品市场的短期动态方面发挥着核心作用。许多下游金融应用，如商品价格预测或情绪建模，都依赖于自动识别特定资产相关的新闻文章的能力。然而，获取用于金融文本分类的大型标记语料库成本高昂，Transformer-based分类器如RoBERTa在数据稀缺的情形下性能常大幅下降。我们的实验表明，合理提示的即插即用大型语言模型（LLM）即使在此类设置下也能实现强大的性能。此外，我们提出LabelFusion，一种混合体系结构，将经过提示工程的LLM输出与通过微调的RoBERTa编码器产生的上下文嵌入通过轻量级多层感知机（MLP）投票层进行融合。在在完整数据集上训练的十类多标签Reuters-21578语料库子集上进行评估，LabelFusion在宏平均F1得分上达到96.0%，准确率达92.3%，显著优于单一RoBERTa（F1 94.6%）和单一LLM（F1 93.9%）。在数据稀缺至中等规模的情形下，单独的LLM竟然表现出惊人的竞争力，即使在零样本设置下也能实现95.9%的F1得分，并且在训练数据可用至约80%时始终优于LabelFusion。这些结果表明，在标注约束下，LLM-only提示是首选策略；而一旦足够的标记数据可用以训练编码器组件，LabelFusion便成为最有效的解决方案。代码已在匿名仓库中提供。
引用
@article{arxiv.2512.10793,
title = {LabelFusion: Fusing Large Language Models with Transformer Encoders for Robust Financial News Classification},
author = {Michael Schlee and Christoph Weisser and Timo Kivimäki and Melchizedek Mashiku and Benjamin Saefken},
journal= {arXiv preprint arXiv:2512.10793},
year = {2026}
}