RoBERTa-BiLSTM：一种用于情感分析的上下文感知混合模型
计算与语言
2025-06-27 v2 人工智能
计算工程、金融与科学
摘要
有效分析评论以揭示潜在意图，对于在各个领域制定战略决策具有巨大价值。然而，情感分析过程面临若干挑战，包括评论中表现出的词汇多样性、文本中存在的长距离依赖、遇到未知符号和词汇，以及处理不平衡数据集。此外，现有的情感分析任务大多利用序列模型对长依赖文本进行编码，并且由于顺序处理文本而需要更长的执行时间。相比之下，Transformer由于其并行处理特性，所需执行时间更少。在这项工作中，我们引入了一种新颖的混合深度学习模型RoBERTa-BiLSTM，它将鲁棒优化的BERT预训练方法与双向长短期记忆网络相结合。RoBERTa用于生成有意义的词嵌入向量，而BiLSTM则有效捕获长依赖文本的上下文语义。RoBERTa-BiLSTM混合模型利用了序列模型和Transformer模型的优势，以增强情感分析性能。我们使用来自IMDb、Twitter US Airline和Sentiment140的数据集进行实验，以评估所提出的模型与现有最先进方法的性能。我们的实验结果表明，RoBERTa-BiLSTM模型超越了基线模型，在Twitter US Airline、IMDb和Sentiment140数据集上分别达到了80.74%、92.36%和82.25%的准确率。此外，该模型在相同数据集上分别达到了80.73%、92.35%和82.25%的F1分数。
引用
@article{arxiv.2406.00367,
title = {RoBERTa-BiLSTM: A Context-Aware Hybrid Model for Sentiment Analysis},
author = {Md. Mostafizer Rahman and Ariful Islam Shiplu and Yutaka Watanobe and Md. Ashad Alam},
journal= {arXiv preprint arXiv:2406.00367},
year = {2025}
}