软件工程文本中的情感分类：预训练 Transformer 语言模型的比较分析
软件工程
2024-02-06 v3
摘要
软件工程文本中的情感识别对于理解开发者表达和改善协作至关重要。本文对最先进的预训练语言模型（PTMs）在两个来自 GitHub 和 Stack Overflow 的基准数据集上进行细粒度情感分类的表现进行了比较分析。我们评估了六种 Transformer 模型——BERT、RoBERTa、ALBERT、DeBERTa、CodeBERT 和 GraphCodeBERT，并将其与当前表现最佳的工具 SEntiMoji 进行对比。我们的分析显示，在宏平均和微平均 F1 分数方面，性能提升幅度一致，介于 1.17% 至 16.79% 之间，且通用领域模型的表现优于专用模型。为了进一步增强 PTMs，我们在训练期间的注意力层中引入了极性特征，结果表明相较于基线 PTMs 方法，平均增益额外提升了 1.0% 至 10.23%。我们的工作提供了有力证据，证明 PTMs 在识别软件工程语境中诸如愤怒、爱、恐惧、喜悦、悲伤和惊讶等细微情感方面具有显著优势。通过全面的基准测试和错误分析，我们也概述了解决上下文差距的改进空间。
引用
@article{arxiv.2401.10845,
title = {Emotion Classification In Software Engineering Texts: A Comparative Analysis of Pre-trained Transformers Language Models},
author = {Mia Mohammad Imran},
journal= {arXiv preprint arXiv:2401.10845},
year = {2024}
}