测试 ReLU 网络的平稳性概念：计算困难性、正则性与鲁棒算法
最优化与控制
2023-02-27 v1 机器学习
摘要
我们研究带 ReLU 激活函数的神经网络经验损失的平稳性测试计算问题。我们的贡献如下：困难性：我们证明检验分段线性函数的某一阶近似平稳性概念是 co-NP-hard 的。这意味着检验现代非光滑神经网络的某一平稳性概念在一般情形下计算上不可行。作为推论，我们证明检验 abs-normal 形式函数的所谓一阶极小性是 co-NP-complete 的，这由 Griewank 与 Walther（2019, SIAM J. Optim., vol. 29, p284）猜想。正则性：我们建立了两层 ReLU 网络经验损失的 Clarke、Fréchet 与极限次微分之等式型次微分链式法则成立的充要条件。这一新条件简单且可高效检验。鲁棒算法：我们引入一种算法框架，用以检验基于 Clarke 与 Fréchet 次微分的近近似平稳性。当被测点充分接近平稳点且满足某一定性条件时，该框架不产生假阳性或假阴性错误。这是首个面向两层 ReLU 网络的实用且鲁棒的平稳性测试方法。
引用
@article{arxiv.2302.12261,
title = {Testing Stationarity Concepts for ReLU Networks: Hardness, Regularity, and Robust Algorithms},
author = {Lai Tian and Anthony Man-Cho So},
journal= {arXiv preprint arXiv:2302.12261},
year = {2023}
}
备注
42 pages