使用零样本 LLM 揭示软件开发者交流中情绪的成因
软件工程
2023-12-18 v1
摘要
理解和识别开发者情绪背后的成因（例如，由“合并拉取请求延迟”引起的挫败感）对于寻找问题解决方案和促进开源社区中的协作可能至关重要。要在跨不同项目渠道（如聊天、电子邮件和问题评论）的大量交流中有效识别此类信息，需要对情绪及其成因进行自动识别。为了实现这种自动化，需要大规模的软件工程专用数据集来训练准确的机器学习模型。然而，由于软件项目交流渠道的多样性和非正式性，创建此类数据集成本高昂。在本文中，我们探索了零样本 LLM，这些模型在海量数据集上进行了预训练，但未针对软件工程中检测情绪成因的任务进行微调：ChatGPT、GPT-4 和 flan-alpaca。我们的评估表明，当给定详细的情绪时，这些最新可用的模型能够识别情绪类别，尽管其性能低于最高评级的模型。对于情绪成因识别，我们的结果表明，零样本 LLM 在识别正确的情绪成因方面是有效的，BLEU-2 得分为 0.598。为了突出这些技术的潜在用途，我们对一个流行的开源项目在开发最后一年的挫败感成因进行了案例研究，揭示了一些有趣的见解。
引用
@article{arxiv.2312.09731,
title = {Uncovering the Causes of Emotions in Software Developer Communication Using Zero-shot LLMs},
author = {Mia Mohammad Imran and Preetha Chatterjee and Kostadin Damevski},
journal= {arXiv preprint arXiv:2312.09731},
year = {2023}
}