Aries：基于无标注精度估计的深度神经网络高效测试
软件工程
2023-02-06 v2 人工智能
摘要
由于其工业应用领域的竞争性能，深度学习（DL）在我们的日常生活中扮演着越来越重要的角色。作为 DL 赋能系统的核心，深度神经网络（DNNs）需要被仔细评估以确保所产出的模型符合预期要求。在实践中，工业界评估 DNN 质量的事实上标准是检查其在收集的有标注测试数据上的性能（准确率）。然而，准备此类标注数据通常并不容易，部分原因在于巨大的标注工作量，即数据标注是劳动密集型的，尤其每天都有大量新流入的未标注数据。近期研究表明，DNN 的测试选择是一个有前景的方向，通过选择最小代表性的数据进行标注并使用这些数据评估模型来解决此问题。但它仍需要人力且无法自动化。本文中，我们提出一种名为 Aries 的新技术，可仅利用从原始测试数据获得的信息来估计 DNN 在新未标注数据上的性能。我们技术背后的关键洞见是：模型在对决策边界距离相似的数据上应具有相似的预测准确率。我们在两个著名数据集 CIFAR-10 和 Tiny-ImageNet、四个广泛研究的 DNN 模型（包括 ResNet101 和 DenseNet121）以及 13 种数据变换方法上对我们的技术进行了大规模评估。结果表明，Aries 估计的准确率与真实准确率仅相差 0.03%–2.60%。此外，Aries 在 52 个案例中 50 次优于最先进的无标注方法，在 128 个案例中 96 次优于基于选择-标注的方法。
引用
@article{arxiv.2207.10942,
title = {Aries: Efficient Testing of Deep Neural Networks via Labeling-Free Accuracy Estimation},
author = {Qiang Hu and Yuejun Guo and Xiaofei Xie and Maxime Cordy and Lei Ma and Mike Papadakis and Yves Le Traon},
journal= {arXiv preprint arXiv:2207.10942},
year = {2023}
}
备注
accepted to ICSE'23, preprint version