Lipschitz 神经网络的统一代数视角
机器学习
2023-10-30 v2
摘要
重要的研究工作集中于设计和训练具有受控 Lipschitz 常数的神经网络。其目标是增强并有时保证针对对抗攻击的鲁棒性。近期有前景的技术从不同背景汲取灵感来设计 1-Lipschitz 神经网络，仅举几例：凸势层源于连续动力系统的离散化，Almost-Orthogonal-Layer 提出了一种定制的矩阵重缩放方法。然而，当前亟需在一个共同的理论视角下审视该领域近期有前景的贡献，以更好地设计新颖且改进的层。本文引入了一种新颖的代数视角，统一了各类 1-Lipschitz 神经网络，包括前述网络，以及基于正交性和谱方法的方法。有趣的是，我们表明许多现有技术可通过求解一个共同的半定规划(SDP)条件的解析解来推导和推广。我们还证明 AOL 以某种数学方式将缩放后的权重偏置至接近正交矩阵集合的权重。此外，我们的代数条件结合 Gershgorin 圆盘定理，可直接导出用于 1-Lipschitz 网络层的崭新且多样的参数化。我们称该方法为基于 SDP 的 Lipschitz 层(SLL)，其允许我们设计非平凡却高效的凸势层推广。最后，在图像分类上的全面实验表明，SLL 在认证鲁棒准确率上优于以往方法。代码见 https://github.com/araujoalexandre/Lipschitz-SLL-Networks。
引用
@article{arxiv.2303.03169,
title = {A Unified Algebraic Perspective on Lipschitz Neural Networks},
author = {Alexandre Araujo and Aaron Havens and Blaise Delattre and Alexandre Allauzen and Bin Hu},
journal= {arXiv preprint arXiv:2303.03169},
year = {2023}
}
备注
ICLR 2023. Spotlight paper