基于非凸惩罚项的正则化深度学习
机器学习
2022-04-07 v4 机器学习
应用统计
统计计算
摘要
正则化方法常用于深度神经网络(DNNs)中以防止过拟合。对于基于惩罚项的 DNN 正则化方法,通常考虑凸惩罚项,因其具有优化保证。近期理论工作表明,满足特定正则性条件的非凸惩罚项也能保证在标准优化算法下表现良好。本文中,我们考察用于 DNN 正则化的新的及已有的非凸惩罚项。我们为新惩罚项提供理论依据,并通过七个数据集的 DNN 分析评估所有惩罚项的性能。
引用
@article{arxiv.1909.05142,
title = {Regularized deep learning with nonconvex penalties},
author = {Sujit Vettam and Majnu John},
journal= {arXiv preprint arXiv:1909.05142},
year = {2022}
}