深度学习故障基准中的真实故障：它们有多真实？
软件工程
2024-12-24 v1 人工智能
机器学习
摘要
随着深度学习（DL）系统的采用率不断上升，越来越多的技术被提出来测试这些系统、定位其中的故障并修复这些故障。这些技术有效性的最佳证明是评估其检测、定位和修复真实故障的能力。为了促进这些评估，研究界收集了多个包含DL系统真实故障的基准。在这项工作中，我们对来自五个不同基准的490个故障进行了人工分析，并确定其中314个符合我们研究的条件。我们的调查特别关注这些缺陷在多大程度上与其提取来源相符、所代表的故障类型，以及这些缺陷是否可复现。我们的研究结果表明，只有18.5%的故障满足我们的真实性条件。我们复现这些缺陷的尝试仅在52%的案例中成功。
引用
@article{arxiv.2412.16336,
title = {Real Faults in Deep Learning Fault Benchmarks: How Real Are They?},
author = {Gunel Jahangirova and Nargiz Humbatova and Jinhan Kim and Shin Yoo and Paolo Tonella},
journal= {arXiv preprint arXiv:2412.16336},
year = {2024}
}