跨平台环境下面向软件工程的深度学习情感检测工具实证研究
软件工程
2023-01-18 v1
摘要
软件工程（SE）中的情感检测已显示出支持多种开发活动的潜力。然而，鉴于 SE 平台的多样性，特定于 SE 的情感检测工具在跨平台环境中的性能可能受损。近来基于深度学习（DL）的 SE 特定情感检测工具被发现优于基于浅层机器学习（ML）或规则的工具。然而，DL 工具在跨平台环境中的表现如何尚不为人所知。本文中，我们研究特定于 SE 的 DL 情感检测器在跨平台环境中是否比浅层 ML 基/规则基情感检测器更有效。在三个数据集中，我们研究了三种 DL 工具（SEntiMoji、BERT4SEntiSE、RNN4SentiSE），并将其与三个基线对比：两个浅层学习工具（Senti4SD、SentiCR）与一个规则基工具（SentistrengthSE）。我们发现：（1）在大多数跨平台情形下，SE 的深度学习 SD 工具 BERT4SentiSE 优于其他有监督工具，但该工具在大多数情形下又被规则基工具 SentistrengthSE 超越。（2）在三个数据集的同平台设置中，BERT4SentiSE 大幅优于 SentistrengthSE，且在六种跨平台设置中仅有四种被 SentiStrengthSE 小幅超越。该发现为进一步提升如 BERT4SentiSE 这类预训练 transformer 模型在跨平台环境中的表现提供了可行性希望。（3）两个表现最佳的深度学习工具（BERT4SentiSE 与 SentiMoji）在三个数据集中表现出不同程度的性能下降。我们发现此不一致性主要源于“标注中的主观性”，且所研究有监督工具在跨平台环境中的性能改进可能需要对数据集进行修正。
引用
@article{arxiv.2301.06661,
title = {An Empirical Study of Deep Learning Sentiment Detection Tools for Software Engineering in Cross-Platform Settings},
author = {Gias Uddin and Md Abdullah Al Alamin and Ajoy Das},
journal= {arXiv preprint arXiv:2301.06661},
year = {2023}
}