Transformer 模型能否有效检测 StackOverflow 讨论中的软件方面？
软件工程
2023-06-13 v1 计算与语言
摘要
数十种新工具与技术正被引入以协助开发者，这在他们难以在众多选项中做出选择时成了焦虑之源。例如，开发者至少有十种可用于开发 Web 应用的框架，在选择最符合需求的最佳框架时令人困惑。因此，开发者不断搜寻每个 API、框架、工具等的全部优缺点。典型方法之一是通过官方文档与讨论审视所有特性。该方法耗时，且常难以判断哪些面对特定开发者最为重要，以及某一特定方面对整个社区是否重要。本文使用从 StackOverflow 帖子收集的基准 API 方面数据集（Opiner），观察 Transformer 模型（BERT、RoBERTa、DistilBERT 与 XLNet）在检测文本开发者讨论中软件方面时相对于基线支持向量机（SVM）模型的表现。通过大量实验，我们发现 Transformer 模型对多数方面（即“性能”、“安全性”、“可用性”、“文档”、“缺陷”、“法律”、“仅情感”与“其他”）提升了基线 SVM 的性能。然而，这些模型未能把握部分方面（如“社区”与“可移植性”），且其表现随方面而异。此外，相较 DistilBERT 等较小架构，XLNet 等较大架构在解读软件方面上效果不佳。
引用
@article{arxiv.2209.12065,
title = {Can Transformer Models Effectively Detect Software Aspects in StackOverflow Discussion?},
author = {Nibir Chandra Mandal and Tashreef Muhammad and G. M. Shahariar},
journal= {arXiv preprint arXiv:2209.12065},
year = {2023}
}
备注
15 pages, 2 figures, submitted to International Conference on Machine Intelligence and Emerging Technologies (MIET 2022)