深度神经网络的组稀疏正则化
机器学习
2017-02-14 v1 机器学习
摘要
本文考虑同时优化以下三个任务的联合问题：(i) 深度神经网络的权重，(ii) 每个隐藏层的神经元数量，以及 (iii) 活跃输入特征的子集（即特征选择）。虽然这些问题通常被分开处理，但我们提出了一种简单的正则化形式，允许使用标准优化例程并行求解所有三个任务。具体而言，我们扩展了组 Lasso 惩罚（起源于线性回归文献），以对网络的连接施加组级稀疏性，其中每个组被定义为一个单元的输出权重集合。根据具体情况，这些权重可以与输入变量、隐藏神经元或偏置单元相关，从而同时执行所有上述任务，以获得一个紧凑的网络。我们进行了广泛的实验评估，与经典的权重衰减和 Lasso 惩罚进行了比较。我们表明，组 Lasso 惩罚的一个稀疏版本能够实现有竞争力的性能，同时产生具有更少输入特征的极其紧凑的网络。我们在一个手写数字识别的玩具数据集和多个现实的大规模分类问题上进行了评估。
引用
@article{arxiv.1607.00485,
title = {Group Sparse Regularization for Deep Neural Networks},
author = {Simone Scardapane and Danilo Comminiello and Amir Hussain and Aurelio Uncini},
journal= {arXiv preprint arXiv:1607.00485},
year = {2017}
}