面向大语言模型情感分析微调的动态自适应优化
计算与语言
2025-06-30 v3 人工智能
摘要
情感分析在诸多领域发挥着关键作用，如商业智能和金融预测。大语言模型（LLM）已成为情感分析的流行范式，利用多任务学习来解决特定任务。然而，针对情感分析进行微调的LLM常常表现不佳，由于管理多样化任务复杂性的内在挑战。此外，多任务学习中的恒定权重方法难以适应数据特征的变化，进一步复杂化了模型效果。为此，我们提出一种带有动态自适应优化（DAO）模块的新型多任务学习框架。该模块设计为可无缝集成到现有模型中的插件式组件，为多任务学习提供有效且灵活的解决方案。DAO模块的关键组件是动态自适应损失，该损失根据各任务的相对重要性和数据特征在训练期间动态调整分配给不同任务的权重。针对标准和定制化金融文本数据集的情感分析结果表明，提出的框架实现了卓越的性能。具体而言，本工作相对于以前的工作改进了均方误差（MSE）和准确率（ACC），分别提升了15.58%和1.24%。
引用
@article{arxiv.2408.11856,
title = {Dynamic Adaptive Optimization for Effective Sentiment Analysis Fine-Tuning on Large Language Models},
author = {Hongcheng Ding and Xuanze Zhao and Ruiting Deng and Shamsul Nahar Abdullah and Deshinta Arrova Dewi and Zixiao Jiang},
journal= {arXiv preprint arXiv:2408.11856},
year = {2025}
}