深度学习框架中非功能缺陷报告的多面分层识别
软件工程
2022-10-06 v1 机器学习
摘要
深度学习(DL)框架中的非功能缺陷(例如与性能或精度相关的缺陷)可能导致一些最具破坏性的后果。在诸如GitHub之类的仓库上报告这些缺陷是修复它们的标准途径。然而,鉴于DL框架新增GitHub报告数量不断增长,开发者本质上难以从中区分出揭示非功能缺陷的报告,并及时将它们分配给合适的贡献者进行调查。在本文中,我们提出MHNurf——一个用于自动识别DL框架中非功能缺陷相关报告的端到端工具。MHNurf的核心是一个多面分层注意力网络(MHAN),其应对了三个尚未解决的挑战:(1)学习语义知识,但(2)通过考虑层次结构(例如句子/语句中的词/标记)并关注GitHub报告的重要部分(即词、标记、句子和语句),同时(3)从不同特征类型(即内容、评论、代码、命令和标签)独立提取信息。为评估MHNurf,我们利用来自五个DL框架的3,721份GitHub报告进行实验。结果表明,MHNurf在内容、评论和代码组合下表现最佳,显著优于仅使用内容的经典HAN。MHNurf还以强统计显著性比九种其他最先进分类器产生显著更准确的结果,即AUC提升高达71%,并且在四个框架上具有最佳的Scott-Knott排名,在剩余一个上排名第二。为促进复现和推动未来研究,我们已将数据集、代码和详细补充结果公开于:https://github.com/ideas-labo/APSEC2022-MHNurf。
引用
@article{arxiv.2210.01855,
title = {Multifaceted Hierarchical Report Identification for Non-Functional Bugs in Deep Learning Frameworks},
author = {Guoming Long and Tao Chen and Georgina Cosma},
journal= {arXiv preprint arXiv:2210.01855},
year = {2022}
}
备注
Accepted at APSEC 2022