使用深度样条神经网络逼近 Lipschitz 函数
机器学习
2022-04-14 v1 最优化与控制
摘要
Lipschitz 约束神经网络在机器学习中有许多应用。由于设计和训练具有强表达力的 Lipschitz 约束网络非常具有挑战性，因此需要改进的方法以及更好的理论理解。遗憾的是，事实证明 ReLU 网络在此设定下存在可证明的缺陷。因此，我们提议改用具有至少 3 个线性区域的可学习样条激活函数。我们证明，在所有分量式 -Lipschitz 激活函数中，该选择是最优的，因为没有任何其他权重约束架构能够逼近更大类的函数。此外，该选择至少与最近提出的用于谱范数约束权重的非分量式 Groupsort 激活函数具有同等的表达能力。先前发表的数值结果支持我们的理论发现。
引用
@article{arxiv.2204.06233,
title = {Approximation of Lipschitz Functions using Deep Spline Neural Networks},
author = {Sebastian Neumayer and Alexis Goujon and Pakshal Bohra and Michael Unser},
journal= {arXiv preprint arXiv:2204.06233},
year = {2022}
}