1-Lipschitz网络初始化在可证明鲁棒分类中的应用：衰减问题
机器学习
2025-11-19 v2 人工智能
机器学习
摘要
本文讨论了两种标准1-Lipschitz网络架构的权重参数化方法：近似正交层（AOL）和基于SDP的Lipschitz层（SLL）。我们研究了它们对深度1-Lipschitz前馈网络初始化的影响，并讨论了与此初始化相关的基础问题。这些网络主要用于可证明鲁棒分类应用，通过限制扰动对分类输出的影响来对抗对抗性攻击。在假设标准正态分布初始化的条件下，计算了参数化权重方差的确切和上界；此外，在假设广义正态分布的条件下计算了上界，将均匀分布、拉普拉斯分布和正态分布权重初始化的证明进行了推广。我们证明了权重方差对输出方差分布没有影响，只有权重矩阵的维度起作用。此外，本文证明了权重初始化总是导致深度1-Lipschitz网络衰减至零。
引用
@article{arxiv.2503.00240,
title = {1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem},
author = {Marius F. R. Juston and Ramavarapu S. Sreenivas and William R. Norris and Dustin Nottage and Ahmet Soylemezoglu},
journal= {arXiv preprint arXiv:2503.00240},
year = {2025}
}
备注
15 pages, 11 figures; added additional experimental results and formatted to Elsevier format