面向异构金融文本数据的轻量大语言模型情感分类微调
计算与语言
2025-12-19 v1 人工智能
摘要
大型语言模型（LLM）在金融市场分析中扮演着越来越重要的角色，通过捕捉来自复杂且异构文本数据源（如推文、新闻文章、报告和微博客）的信号。然而，这些模型的性能依赖于大量计算资源和专有数据集，这些资源昂贵、受限，因此不可及于许多研究人员和实践者。为反映真实情况，我们调查了轻量开源LLM—— smaller and publicly available models designed to operate with limited computational resources——的能力，这些模型能从大小、来源、格式和语言各异的金融数据集中泛化情感理解。我们将基准金融自然语言处理（NLP）模型FinBERT与三个开源轻量LLM（DeepSeek-LLM 7B、Llama3 8B Instruct和Qwen3 8B）在五个公开数据集上进行比较：FinancialPhraseBank、Financial Question Answering、Gold News Sentiment、Twitter Sentiment和Chinese Finance Sentiment。我们发现，特别是Qwen3 8B和Llama3 8B，在大多数场景下表现最佳，即便只使用了5%的可用训练数据。这些结果在零样本和少样本学习场景中同样成立。我们的发现表明，轻量开源大型语言模型（LLM）是一种成本效益高的选择，因为它们即使在仅使用通常被视为必要的广泛标注语料库子集的情况下，也能在异构文本数据上实现竞争性能。
引用
@article{arxiv.2512.00946,
title = {Fine-tuning of lightweight large language models for sentiment classification on heterogeneous financial textual data},
author = {Alvaro Paredes Amorin and Andre Python and Christoph Weisser},
journal= {arXiv preprint arXiv:2512.00946},
year = {2025}
}