惊喜充分度的综述与改进
机器学习
2021-03-11 v1 软件工程
摘要
惊喜充分度（SA）是深度学习（DL）测试中新兴且最有前景的充分度准则之一。作为一种充分度准则，它已被用于评估DL测试套件的强度。此外，它还被用于寻找深度神经网络（DNN）中训练数据未充分表示的输入，或为DNN再训练选择样本。然而，对测试套件计算SA度量可能极其昂贵，因为它涉及二次数量的距离计算。因此，我们开发并发布了一个性能优化但功能等价的SA实现，将评估时间减少了多达97%。我们还提出了SA计算算法的改进变体，旨在进一步提高评估速度。随后我们在MNIST上进行了实证研究，聚焦于SA的分布外检测能力，这使我们能够复现SA首次发布时给出的部分结果。实验表明，我们的改进变体比普通SA快得多，同时产生可比的结果。我们的实验结果还暴露了SA一个被忽视的问题：它可能对与DNN训练过程相关的非确定性高度敏感。
引用
@article{arxiv.2103.05939,
title = {A Review and Refinement of Surprise Adequacy},
author = {Michael Weiss and Rwiddhi Chakraborty and Paolo Tonella},
journal= {arXiv preprint arXiv:2103.05939},
year = {2021}
}
备注
Accepted at DeepTest 2021 (ICSE Workshop)