结合双向 LSTM 微调 BERT 用于细粒度电影评论情感分析
摘要
情感分析 在理解人们观点、促进社交媒体监控、识别产品与品牌以及评估客户满意度方面发挥着重要作用。因此，SA 已发展成为自然语言处理 (NLP) 领域内一个活跃的研究方向。文献中概述的许多方法设计了复杂的框架以实现高准确率，这些方法仅专注于二元情感分类或细粒度情感分类。在本文中，我们的目标是使用双向 LSTM (BiLSTM) 对预训练的 BERT 模型进行微调，以专门针对电影评论增强二元和细粒度 SA。我们的方法包括对每条评论进行情感分类，然后计算所有评论的总体情感极性。我们利用基准数据集展示了二元分类和细粒度分类的发现。此外，我们实现并评估了两种准确率提升技术：合成少数类过采样技术 (SMOTE) 和 NLP Augmenter (NLPAUG)，以增强模型在细粒度情感分类中的泛化能力。最后，采用启发式算法根据 BERT+BiLSTM 的输出向量计算预测评论的总体极性。我们的方法在两种分类任务中均与现有最先进 (SOTA) 技术表现相当。例如，在二元分类中，我们实现了 97.67% 的准确率，在著名的 IMDb 数据集上比领先的 SOTA 模型 NB-weighted-BON+dv-cosine 高出 0.27%。相反，在 SST-5 的五分类任务中，虽然顶级 SOTA 模型 RoBERTa+large+Self-explaining 达到了 55.5% 的准确率，但我们的模型达到了 59.48% 的准确率，比 BERT-large 基线高出了 3.6%。
引用
@article{arxiv.2502.20682,
title = {Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis},
author = {Gibson Nkhata and Susan Gauch and Usman Anjum and Justin Zhan},
journal= {arXiv preprint arXiv:2502.20682},
year = {2025}
}
备注
14 pages, 5 figures, published in International Journal On Advances in Systems and Measurements, volume 16, numbers 3 and 4, 2023