解构 Lipschitz 验证：正矩阵、负结果
机器学习
2026-05-11 v2
摘要
神经网络的全局 Lipschitz 常数与鲁棒性和泛化性相关，然而与许多经典模型不同，无法直接从参数中直观看出。这一事实激发了各种验证算法，尤其是基于半正定规划 (SDP) 的递增二次约束，以改进快速但常常松散的逐层 Lipschitz 常数乘积（平凡上界）。我们探讨了为何 Lipschitz 验证会成为一个问题。我们的答案是：结构性难题：估计神经网络的 Lipschitz 常数需要知道哪些隐藏状态是可达的，而可达性是 NP-hard 的。如果 P!=NP，那么可达性将成为任何多项式时间算法的障碍。通过显式构造，我们展示，这种盲目性可能导致基于 SDP 的上界继承与平凡上界相同的定性失败，包括但不限于每层保守性。我们表明，NP-hard 问题的困难性并非仅限于最坏情况的计算归约，而是实际困扰于验证问题的每个实例。因此，SDP 对 Lipschitz 验证并不足够。我们也认为它并非必要：若干看似平凡上界的失败可通过优化或正则化平凡上界本身来消除。我们通过一个“球形熊牛”线性模型和数值概念证明展示了这一主张。虽然主要贡献是理论性的和消极的，但我们最终提出一种新型三角函数层，无需偏置项即可实现通用逼近。结合平凡上界正则化，这些层使得平凡上界在理论上和实践中都可实现紧密。
引用
@article{arxiv.2603.28113,
title = {Demystifying Lipschitz verification: positive matrices, negative results},
author = {Simon Kuang and Yuezhu Xu and S. Sivaranjani and Xinfan Lin},
journal= {arXiv preprint arXiv:2603.28113},
year = {2026}
}
备注
reduced scope, new theorems on NP-hardness