基于组套索正则化的深度神经网络自动节点选择
计算与语言
2016-11-18 v1 机器学习
机器学习
摘要
我们通过将DNN-HMM混合语音识别器应用于TED Talks语音数据，检验了组套索（Group Lasso, gLasso）正则化器在深度神经网络（Deep Neural Network, DNN）隐藏层显著节点选择中的效果。我们测试了两种类型的gLasso正则化，一种针对输出权重向量，另一种针对输入权重向量，以及两种规模的DNN：2048个隐藏层节点和4096个节点。此外，我们比较了gLasso和L2正则化器。我们的实验结果表明，嵌入了gLasso正则化器的DNN训练成功地选择了对于实现高分类能力而言必要且充分的隐藏层节点。
引用
@article{arxiv.1611.05527,
title = {Automatic Node Selection for Deep Neural Networks using Group Lasso Regularization},
author = {Tsubasa Ochiai and Shigeki Matsuda and Hideyuki Watanabe and Shigeru Katagiri},
journal= {arXiv preprint arXiv:1611.05527},
year = {2016}
}
备注
Submitted to ICASSP 2017