神奇四侠：卷积层奇异值的可微界

在深度神经网络中，层雅可比矩阵谱范数界定了信号在前向/反向传播中范数变化的因子。谱范数正则化已被证明能改善深度学习方法的泛化性、鲁棒性和优化。现有的计算卷积层谱范数的方法要么依赖高效但缺乏保证的启发式方法，要么理论可靠但计算昂贵。在本工作中，我们鱼与熊掌兼得，推导了标准 2D 多通道卷积层谱范数的四个可证明上界。这些界是可微的，并且可以在训练期间以可忽略的开销高效计算。其中之一的界实际上是 Miyato 等人流行的启发式方法（乘以依赖于滤波器大小的常数因子）。这四个界中的每一个都能在特定卷积滤波器下取得最紧间隙。因此，我们提议使用这四个界的最小值作为卷积层谱范数的紧致、可微且高效的上界。我们表明我们的谱界是一种有效的正则化器，并可用于界定神经网络的 Lipschitz 常数或曲率值（海森矩阵的特征值）。通过在 MNIST 和 CIFAR-10 上的实验，我们证明了我们的谱界在改善深度网络泛化性和可证明鲁棒性方面的有效性。