基于 rLoRA 在 Qwen3-8B 模型上进行的金融文本分类
机器学习
2025-12-02 v1 计算金融
摘要
金融文本分类正日益成为量化交易系统及相关任务（如金融情感分析和金融新闻分类）的重要环节。本文评估了大型语言模型 Qwen3-8B 在两项任务上的性能。Qwen3-8B 是一种最新模型，具备强大的指令跟随和多语言能力，与标准模型不同，主要是针对高效微调和在推理基准测试中取得优异性能进行优化，适用于金融应用。为适配该模型，我们应用了带噪嵌入指令微调方法，并基于前期工作，这种方法通过在监督适应期间注入受控噪声到嵌入层，从而提高鲁棒性。我们进一步采用秩稳定低秩适应（rLoRA）低秩优化方法和 FlashAttention，以实现更高效的训练和更低的 GPU 内存占用。对于两项任务，我们将 Qwen3-8B 与标准经典变换模型（如 T5、BERT、RoBERTa）以及大规模模型（如 LLaMA1-7B、LLaMA2-7B、Baichuan2-7B）进行基准测试。研究结果表明，Qwen3-8B 在两项任务中均显著超越这些基准，实现更好的分类准确率且所需训练周期更少。指令式微调与内存高效优化方法的协同作用表明，Qwen3-8B 可能作为面向实时金融 NLP 应用的可扩展且经济实惠的选项。Qwen3-8B 为推动动态量化交易系统的发展提供了广阔前景。
引用
@article{arxiv.2512.00630,
title = {Financial Text Classification Based On rLoRA Finetuning On Qwen3-8B model},
author = {Zhiming Lian},
journal= {arXiv preprint arXiv:2512.00630},
year = {2025}
}
备注
This paper has been accepted to the 2025 2nd International Conference on Digital Economy and Computer Science (DECS 2025) and is awaiting publication in the ACM International Conference Proceeding Series