简单技术在神经网络测试优先化与主动学习中出奇有效地工作（可复现性研究）
机器学习
2022-05-25 v2 人工智能
软件工程
摘要
深度神经网络(DNN)的测试输入优先化器(TIP)是一项重要技术，可高效处理通常非常庞大的测试数据集，节省计算与标注成本。对于大规模部署系统而言尤其如此，其中生产环境中观测到的输入被记录，用作系统下一版本的潜在测试或训练数据。Feng等人提出DeepGini，一种极快且简单的TIP，并展示其优于神经元覆盖与惊喜覆盖等更复杂的技术。我们在一个大规模研究（4个案例研究、8个测试数据集、32'200个训练模型）中验证了他们的发现。然而，我们也发现，来自不确定性量化领域的其他可比甚至更简单的基线，如预测的softmax似然或预测softmax似然的熵，表现与DeepGini同样良好。
引用
@article{arxiv.2205.00664,
title = {Simple Techniques Work Surprisingly Well for Neural Network Test Prioritization and Active Learning (Replicability Study)},
author = {Michael Weiss and Paolo Tonella},
journal= {arXiv preprint arXiv:2205.00664},
year = {2022}
}
备注
Accepted at ISSTA 2022