重复 ReLU 及其推广的完整二次约束集
机器学习
2024-08-23 v2 系统与控制
系统与控制
最优化与控制
摘要
本文推导重复 ReLU 的完整二次约束（QCs）。该完整 QCs 由矩阵 copositivity 条件描述。我们还表明，仅有两个函数满足我们完整 QCs 中的所有条件：重复 ReLU 与翻转 ReLU。因此，我们的完整 QCs 以二次型固有的符号不变性为上限，使重复 ReLU 的界限尽可能紧。我们推导了重复 ReLU 的增量 QCs 的完整集，这可能导致 ReLU 网络比标准 LipSDP 方法更保守的 Lipschitz 界限。基本构造也用于推导其他分段线性激活函数（如 leaky ReLU、MaxMin、HouseHolder）的完整 QCs。最后，我们说明如何利用完整 QCs 评估具有 ReLU 激活函数的循环神经网络的稳定性与性能。我们采用标准 copositivity 松弛，将稳定性/性能条件表述为半正定规划（SDP）。提供的简单例子表明，完整 QCs 与增量 QCs 可比现有方法产生更不保守的界限。
引用
@article{arxiv.2407.06888,
title = {A Complete Set of Quadratic Constraints for Repeated ReLU and Generalizations},
author = {Sahel Vahedi Noori and Bin Hu and Geir Dullerud and Peter Seiler},
journal= {arXiv preprint arXiv:2407.06888},
year = {2024}
}