神经网络中Sigmoidal非单调函数的线性边界函数自动设计
机器学习
2024-06-17 v1 人工智能
计算机科学中的逻辑
摘要
深度学习算法在各类应用中的普及性放大了确保其对小输入扰动（如对抗攻击中出现的扰动）具有鲁棒性的需求。现有的完整验证技术为所有鲁棒性查询提供可证明保证，但在小型神经网络之外难以扩展。为克服这一计算不可行性， Incomplete 验证方法常依赖凸松弛来过度近似神经网络中的非单调函数。在更紧密的近似方面取得了进展，针对分段线性函数。然而，对一般激活函数（如Sigmoid、Tanh）的鲁棒性验证仍属探索不足领域，面临新挑战。通常，这些网络使用凸松弛技术进行验证，这涉及计算非单调激活函数的线性上界和下界。在本工作中，我们提出了一种新颖的参数搜索方法来提高这些线性近似的质量。具体而言，我们表明通过针对给定验证问题进行状态-of-the-art算法配置技术调整的简单搜索方法，可在多个常用局部鲁棒性验证基准测试中，将平均全局下界提高约25%。
关键词
引用
@article{arxiv.2406.10154,
title = {Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks},
author = {Matthias König and Xiyue Zhang and Holger H. Hoos and Marta Kwiatkowska and Jan N. van Rijn},
journal= {arXiv preprint arXiv:2406.10154},
year = {2024}
}