神经网络Hessian的可证明界限：保持导数的可达性分析
机器学习
2024-06-10 v1 系统与控制
系统与控制
摘要
我们提出了一种专为具有可导激活函数的神经网络设计的新颖可达性分析方法。我们的想法基于对神经网络图进行的一阶Taylor展开抽象，并对剩余项进行界限化。为此，我们提出了一种计算网络一阶导数(梯度)和二阶导数(Hessian)的解析界限的方法。我们方法的关键方面是对激活函数进行循环变换，以有效利用其单调性。最终得到的端到端抽象在局部上保持导数信息，yielding对小输入集准确的界限。最后，我们在更大的输入集上采用分支和界限框架进行递归细化。我们通过不同示例进行数值评估，并与相关最先进方法进行比较。
引用
@article{arxiv.2406.04476,
title = {Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis},
author = {Sina Sharifi and Mahyar Fazlyab},
journal= {arXiv preprint arXiv:2406.04476},
year = {2024}
}