基于 MIQCQP 重构的 ReLU 神经网络 Lipschitz 常数估计问题
计算机视觉与模式识别
2024-02-05 v1 人工智能
摘要
众所周知，Lipschitz 常数在确保或验证神经网络的鲁棒性方面发挥着重要作用，但其计算是 NP-hard 的。在本文中，我们考虑每一层的激活区域作为新的约束，提出了用于神经网络 Lipschitz 估计问题的新的二次约束 MIP 形式。这些问题的解给出了 Lipschitz 常数的下界和上界，我们详细阐述了这些界与精确 Lipschitz 常数一致的条件。
引用
@article{arxiv.2402.01169,
title = {Faster Inference of Integer SWIN Transformer by Removing the GELU Activation},
author = {Mohammadreza Tayaranian and Seyyed Hasan Mozafari and James J. Clark and Brett Meyer and Warren Gross},
journal= {arXiv preprint arXiv:2402.01169},
year = {2024}
}
备注
5 pages, 1 figure. Submitted to Edge Intelligence Workshop III, an AAAI 2024 workshop