Lipschitz有界深度网络的直接参数化

本文提出一种具有保证的$\ell^2$ Lipschitz界（即对待输入扰动的有限敏感度）的深度神经网络（全连接与卷积）新参数化。该Lipschitz保证等价于基于半定规划（SDP）认证的最紧已知界。我们提供一种“直接”参数化，即从$\mathbb R^N$到满足SDP界权重集合上的光滑映射。此外，我们的参数化是完备的，即神经网络满足SDP界当且仅当它可由我们的参数化表示。这使得可使用标准梯度方法进行训练，而无需针对SDP约束执行任何内近似或计算密集型任务（如投影或障碍项）。新参数化可等价视为一种新层类型（夹心层），或具有相邻层间参数共享的标准前馈网络新参数化。在图像分类上的全面实验表明，夹心层在经验与认证鲁棒准确率上均优于先前方法。代码见\url{https://github.com/acfr/LBDN}。