软件工程中的情感分析：评估生成式预训练变换器
软件工程
2025-05-22 v1 计算与语言
机器学习
摘要
情感分析在理解开发人员的交互、问题解决和项目动态方面发挥着关键作用。虽然传统的面向软件工程的情感分析工具取得了显著进展，但往往未能考虑该领域语言的细微差别和情境依赖性。本研究系统评估了双向变换器（如 BERT）相对于生成式预训练变换器（具体为 GPT-4o-mini）在软件工程情感分析中的性能。我们使用来自 GitHub、Stack Overflow 和 Jira 的数据集，对模型在微调和默认配置下的能力进行基准测试。结果表明，微调后的 GPT-4o-mini 在结构化且平衡的数据集（如 GitHub 和 Jira）上，与 BERT 和其他双向模型相当，分别实现了 0.93 和 0.98 的宏平均 F1 分数。然而，在情感分布不平衡且语言复杂的数据集（如 Stack Overflow）上，默认的 GPT-4o-mini 模型表现出优越的泛化能力，其准确率为 85.3%，而微调模型仅为 13.1%。这些发现凸显了在软件工程任务中微调与利用预训练模型之间的权衡。本研究强调将模型架构与数据集特征相匹配以优化性能的重要性，并提出了未来在针对软件工程领域细化情感分析工具方面的研究方向。
关键词
引用
@article{arxiv.2505.14692,
title = {Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers},
author = {KM Khalid Saifullah and Faiaz Azmain and Habiba Hye},
journal= {arXiv preprint arXiv:2505.14692},
year = {2025}
}