基于 BERT 的情感分析：软件工程视角
计算机视觉与模式识别
2021-12-14 v3
摘要
情感分析可为软件工程中使用的工具以及待用的 API 推荐系统和相关库提供合适的引导。在此背景下，SentiCR、SentiStrength-SE 等现有工具表现出较低的 f1 分数，完全背离了部署此类策略的初衷，因此存在充足的性能提升空间。近期进展表明，基于 transformer 的预训练模型（如 BERT、RoBERTa、ALBERT 等）在文本分类任务中展现出更优结果。鉴于此，本研究探索不同的基于 BERT 的模型来分析 GitHub 评论、Jira 评论和 Stack Overflow 帖子中的句子。本文提出三种不同的策略来基于 BERT 模型进行情感分析：第一种策略对基于 BERT 的预训练模型进行微调；第二种策略由 BERT 变体构建集成模型；第三种策略使用压缩模型（Distil BERT）。实验结果表明，基于 BERT 的集成方法和压缩 BERT 模型在所有三个数据集上相较现有工具在 F1 度量上取得了 6-12% 的提升。
引用
@article{arxiv.2106.02581,
title = {BERT-Based Sentiment Analysis: A Software Engineering Perspective},
author = {Himanshu Batra and Narinder Singh Punn and Sanjay Kumar Sonbhadra and Sonali Agarwal},
journal= {arXiv preprint arXiv:2106.02581},
year = {2021}
}