基于不可行性之和的高效神经网络分析
机器学习
2022-03-23 v1 人工智能
计算机科学中的逻辑
最优化与控制
摘要
受凸优化中不可行性之和方法的启发，我们提出了一种用于分析具有分段线性激活函数的神经网络验证查询的新流程。给定一个过度逼近非凸激活函数的凸松弛，我们将激活函数的违反情况编码为代价函数，并相对于该凸松弛对其进行优化。该代价函数称为不可行性之和（SoI），其设计使得其最小值为零且仅当所有激活函数均被满足时达到。我们提出一种随机流程 DeepSoI 来高效最小化 SoI。通过用 DeepSoI 替换每个搜索状态中执行的凸流程，可实现向基于规范案例分析的完备搜索流程的扩展。以 DeepSoI 扩展完备搜索可实现多个同时目标：1）引导搜索朝向反例；2）支持更明智的分支决策；3）创造更多边界推导的机会。跨不同基准和求解器的广泛评估证明了所提技术的益处。特别地，我们证明 SoI 显著提升了现有完备搜索流程的性能。此外，基于 SoI 的实现优于其他最先进的完备验证器。我们还展示了我们的技术能高效改进近期对抗攻击算法推导出的扰动边界。
引用
@article{arxiv.2203.11201,
title = {Efficient Neural Network Analysis with Sum-of-Infeasibilities},
author = {Haoze Wu and Aleksandar Zeljić and Guy Katz and Clark Barrett},
journal= {arXiv preprint arXiv:2203.11201},
year = {2022}
}
备注
TACAS'22