神经网络的利普希茨界分析

利普希茨界估计是一种有效的深度神经网络正则化方法，可使其对对抗攻击具有鲁棒性。这在从强化学习到自主系统的多种应用中都很有用。在本文中，我们强调了在获得卷积神经网络（CNNs）的非平凡利普希茨界证书方面的显著差距，并通过广泛的图形分析从经验上予以支持。我们还展示了可以利用展开卷积层或Toeplitz矩阵将卷积神经网络（CNNs）转换为全连接网络。此外，我们提出了一种简单算法来展示在特定数据分布下实际利普希茨常数与所获紧界之间存在的20倍至50倍的差距。我们还在各种网络架构上进行了详尽的实验，并在MNIST和CIFAR-10等数据集上进行了基准测试。所有这些提议都得到了广泛测试、图表、直方图和比较分析的支持。