用于高效通用 Lipschitz 网络的近正交层
机器学习
2023-09-04 v2
摘要
深度网络对小的输入变化具有鲁棒性是一个备受青睐的性质。实现该性质的一种流行方法是设计具有小 Lipschitz 常数的网络。在本工作中，我们提出一种构造此类 Lipschitz 网络的新技术，其具有若干理想性质：可应用于任何线性网络层（全连接或卷积），对 Lipschitz 常数提供形式化保证，易于实现且运行高效，并且可与任何训练目标和优化方法结合。事实上，我们的技术是文献中首个同时实现所有这些性质的技术。我们的主要贡献是一种基于重缩放的权重矩阵参数化，它保证每个网络层的 Lipschitz 常数至多为 1，并使学习到的权重矩阵接近正交。因此我们称这样的层为近正交 Lipschitz (AOL) 层。在具有认证鲁棒精度的图像分类背景下的实验和消融研究证实，AOL 层取得的结果与大多数现有方法相当。然而，它们更易于实现且适用更广，因为它们不需要作为网络架构一部分的计算昂贵的矩阵正交化或求逆步骤。我们在 https://github.com/berndprach/AOL 提供了代码。
引用
@article{arxiv.2208.03160,
title = {Almost-Orthogonal Layers for Efficient General-Purpose Lipschitz Networks},
author = {Bernd Prach and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2208.03160},
year = {2023}
}
备注
- Corrected the results from competitor ECO. - Corrected a typo in the loss function equation