神经网络的定量验证及其安全应用
密码学与安全
2019-06-26 v1 人工智能
机器学习
计算机科学中的逻辑
摘要
神经网络正日益应用于安全关键领域。这引发了对验证或认证神经网络逻辑编码属性的兴趣。先前的工作主要集中于检查存在性属性，其目标是检查是否存在任何违反给定感兴趣属性的输入。然而，神经网络训练是一个随机过程，其分析中出现的许多问题需要概率和定量推理，即估计有多少输入满足给定属性。为此，本文提出了一种新颖且原则性的框架，用于对神经网络上指定的逻辑属性进行定量验证。我们的框架首个提供了 PAC 风格的正确性保证，即其定量估计与真实计数之间的误差可控且有界。我们通过构建名为 NPAQ 的原型工具实例化我们的算法框架，该工具能够检查二值化神经网络上的丰富属性。我们展示了新兴的安全分析如何在 3 个具体点应用中利用我们的框架：量化对对抗输入的鲁棒性、木马攻击的有效性，以及给定神经网络的公平性/偏置。
引用
@article{arxiv.1906.10395,
title = {Quantitative Verification of Neural Networks And its Security Applications},
author = {Teodora Baluta and Shiqi Shen and Shweta Shinde and Kuldeep S. Meel and Prateek Saxena},
journal= {arXiv preprint arXiv:1906.10395},
year = {2019}
}