一种用于训练具组稀疏性的泄漏ReLU神经网络的不精确增广拉格朗日算法
最优化与控制
2022-05-12 v1 机器学习
摘要
带有组稀疏正则化项的泄漏ReLU网络近年来被广泛使用。然而，训练此类网络会产生一个非光滑非凸优化问题，且缺乏确定性计算驻点的方法。本文中，我们首先通过引入辅助变量和附加约束，化解原优化问题中的多层复合项。我们证明新模型具有非空且有界的解集合，且其可行集满足Mangasarian-Fromovitz约束品性。此外，我们给出了新模型与原问题之间的关系。值得注意的是，我们提出了一种用于求解新模型的不精确增广拉格朗日算法，并证明了该算法收敛到KKT点。数值实验表明，我们的算法在训练稀疏泄漏ReLU神经网络方面比一些知名算法更高效。
引用
@article{arxiv.2205.05428,
title = {An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity},
author = {Wei Liu and Xin Liu and Xiaojun Chen},
journal= {arXiv preprint arXiv:2205.05428},
year = {2022}
}
备注
Submitted to Journal of Machine Learning Research