具有可训练激活函数与受控 Lipschitz 常数的深度神经网络
机器学习
2023-07-19 v2 机器学习
摘要
我们引入了一个变分框架来学习深度神经网络的激活函数。我们的目标是在控制输入输出关系实际 Lipschitz 常数上界的同时增加网络的容量。为此，我们首先建立了神经网络 Lipschitz 常数的一个全局界。基于所得界，我们随后公式化了一个用于学习激活函数的变分问题。我们的变分问题是无限维的且计算上难以处理。然而，我们证明总存在一个具有连续分段线性（线性样条）激活函数的解。这将原问题化简为有限维最小化，其中对激活函数参数的 l1 惩罚有利于学习稀疏非线性。我们将我们的方案与标准 ReLU 网络及其变体 PReLU 和 LeakyReLU 进行了数值比较，并经验性地展示了我们框架的实用方面。
引用
@article{arxiv.2001.06263,
title = {Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant},
author = {Shayan Aziznejad and Harshit Gupta and Joaquim Campos and Michael Unser},
journal= {arXiv preprint arXiv:2001.06263},
year = {2023}
}