具有N-激活函数的1-Lipschitz神经网络具有更强表达能力
机器学习
2024-06-04 v2
摘要
实现安全、可信且可解释的深度学习系统的关键特性之一是其鲁棒性：系统输入的微小变化不应导致其输出的大幅改变。从数学上讲，这意味着人们力求具有较小Lipschitz常数的网络。近期的若干工作聚焦于如何构建此类Lipschitz网络，通常通过对权重矩阵施加约束来实现。在本工作中，我们研究一个正交的方面，即激活函数的作用。我们表明，常用的激活函数（如MaxMin）以及所有具有两段的分段线性激活函数，即使在最简单的一维设定下，也会不必要地限制可表示函数的类别。此外，我们引入了全新的N-激活函数，其在理论上证明比当前流行的激活函数更具表达能力。我们在 https://github.com/berndprach/NActivation 提供了代码。
引用
@article{arxiv.2311.06103,
title = {1-Lipschitz Neural Networks are more expressive with N-Activations},
author = {Bernd Prach and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2311.06103},
year = {2024}
}