深度学习故障定位技术的实证研究
软件工程
2024-12-18 v2 人工智能
机器学习
摘要
随着深度神经网络 (DNN) 的流行度提升，开发者在 DNN 实现、测试和调试过程中对工具的需求也随之增加。已提出多种方法自动分析和定位 DNN 测试中潜在故障的技术。在本工作中，我们评估和比较现有的 state-of-the-art 故障定位技术，这些技术基于 DNN 的 dynamic 和 static analysis。该评估在一个由真实故障从 bug 报告平台获取以及由突变工具产生的有故障模型组成的基准上完成。我们的发现表明，使用单个特定 ground truth (例如 human 定义的) 来评估 DNN 故障定位工具结果较差（最大平均召回率为 0.31，精确率为 0.23）。然而，当考虑针对给定有故障 DNN 存在的等效替代补丁时，这些数字会显著提高。结果表明 \dfd 是最有效的工具，在我们的基准上实现平均召回率为 0.61 和精确率为 0.41。
引用
@article{arxiv.2412.11304,
title = {An Empirical Study of Fault Localisation Techniques for Deep Learning},
author = {Nargiz Humbatova and Jinhan Kim and Gunel Jahangirova and Shin Yoo and Paolo Tonella},
journal= {arXiv preprint arXiv:2412.11304},
year = {2024}
}