使用GPT增强的FinBERT蒸馏增强TinyBERT用于金融情感分析
摘要
在快速发展的金融情感分析领域，预测模型的效率和准确性因其对金融市场的重大影响而至关重要。基于Transformer的模型（如BERT）和大型语言模型（LLM，如GPT-4）极大地推进了自然语言处理（NLP）任务。尽管具有优势，但基于BERT的模型在边缘计算环境中面临计算强度方面的挑战，而LLM庞大的规模和计算需求限制了它们的实际部署。本研究提出利用LLM（如GPT-4 Omni）的生成能力来创建合成的、特定领域的训练数据。这种方法解决了数据稀缺的挑战，并通过使较小模型具备与其较大模型相媲美的性能来增强其表现。该研究专门旨在增强FinBERT（一个为金融情感分析微调的BERT模型），并通过结构化的两层知识蒸馏策略开发TinyFinBERT（一个紧凑的transformer模型）。使用GPT-4 Omni增强的数据（涉及生成新的训练样本和转换现有数据），我们显著提高了FinBERT的准确性，为其作为教师模型做好准备。这个增强后的FinBERT随后利用GPT-4 Omni和GPT-3.5 Turbo增强的数据将知识蒸馏给TinyFinBERT。该蒸馏策略结合了logit蒸馏和中间层蒸馏。TinyFinBERT的训练和评估使用了PhraseBank数据集和FiQA 2018 Task1数据集，在显著更小且更高效的同时，取得了与FinBERT相当的性能。本研究展示了LLM如何通过创新的数据增强和蒸馏技术增强更小、更高效模型的能力，从而有效推动金融情感分析的发展。
引用
@article{arxiv.2409.18999,
title = {Enhancing TinyBERT for Financial Sentiment Analysis Using GPT-Augmented FinBERT Distillation},
author = {Graison Jos Thomas},
journal= {arXiv preprint arXiv:2409.18999},
year = {2024}
}
备注
Submitted in partial fulfillment of the requirements for Masters in Machine Learning and Artificial Intelligence at Liverpool John Moores University, 97 pages, 1 figure, 14 tables