RecurJac：一种用于界定神经网络雅可比矩阵及其应用的高效递归算法
机器学习
2019-02-28 v2 人工智能
机器学习
最优化与控制
摘要
雅可比矩阵（对于单输出网络即为梯度）与神经网络的许多重要性质直接相关，例如函数景观、驻点、（局部）Lipschitz 常数以及对对抗攻击的鲁棒性。在本文中，我们提出一种递归算法 RecurJac，用于计算神经网络相对于网络输入的雅可比矩阵中每个元素的上界和下界，且网络可包含广泛的激活函数。作为副产品，我们可以高效地获得（局部）Lipschitz 常数，它在神经网络鲁棒性验证以及 GANs 的训练稳定性中起着关键作用。实验表明，我们的方法产生的（局部）Lipschitz 常数比先前方法质量更好，从而提供更好的鲁棒性验证结果。我们的算法具有多项式时间复杂度，即使对于相对较大的网络，其计算时间也是合理的。此外，我们利用雅可比矩阵的界来刻画神经网络的景观，例如，确定局部邻域内是否存在驻点。源代码可在 \url{http://github.com/huanzhang12/RecurJac-Jacobian-bounds} 获取。
引用
@article{arxiv.1810.11783,
title = {RecurJac: An Efficient Recursive Algorithm for Bounding Jacobian Matrix of Neural Networks and Its Applications},
author = {Huan Zhang and Pengchuan Zhang and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:1810.11783},
year = {2019}
}
备注
Work done during internship at Microsoft Research