基于 PAC 模型学习的深度神经网络实用鲁棒性分析
机器学习
2022-04-14 v2 人工智能
机器学习
摘要
为分析深度神经网络（DNN）的局部鲁棒性性质，我们从模型学习的视角提出一个实用框架。基于带场景优化的黑盒模型学习，我们通过具有概率近似正确（PAC）保证的仿射模型抽象 DNN 的局部行为。由所学模型可推断相应的 PAC 模型鲁棒性性质。我们工作的创新在于将模型学习整合进 PAC 鲁棒性分析：即我们在模型层面而非样本分布上构造 PAC 保证，从而获得更忠实且准确的鲁棒性评估。这与现有无模型学习的统计方法形成对比。我们在名为 DeepPAC 的原型工具中实现了该方法。作为一种黑盒方法，DeepPAC 可扩展且高效，尤其在 DNN 具有复杂结构或高维输入时。我们广泛评估了 DeepPAC，以 4 种基线（形式化验证、统计方法、测试与对抗攻击）和跨 3 个数据集（包括 MNIST、CIFAR-10 和 ImageNet）的 20 个 DNN 模型进行实验。结果表明 DeepPAC 优于最优统计方法 PROVERO，且比形式化验证工具 ERAN 实现了更实用的鲁棒性分析。此外，其结果也与 DeepGini 等现有 DNN 测试工作一致。
引用
@article{arxiv.2101.10102,
title = {Towards Practical Robustness Analysis for DNNs based on PAC-Model Learning},
author = {Renjue Li and Pengfei Yang and Cheng-Chao Huang and Youcheng Sun and Bai Xue and Lijun Zhang},
journal= {arXiv preprint arXiv:2101.10102},
year = {2022}
}