基于松弛变量分裂法的 ℓ0 与 Tℓ1 稀疏神经网络学习及其在多尺度曲线分类中的应用
机器学习
2019-02-21 v1 最优化与控制
摘要
我们研究通过 ℓ0 与变换 ℓ1 (Tℓ1) 惩罚的松弛变量分裂方法来稀疏化卷积神经网络(CNN)，应用于复杂曲线，如不同字体书写的文本，以及模拟帕金森病患者颤抖手部书写的词语。该CNN包含3个卷积层，每层后接最大池化，最后是一个包含最多网络权重的全连接层。使用 ℓ0 惩罚，我们在区分颤抖与规整字体或手写体时达到了超过99%的测试准确率，且全连接层中超过86%的权重为零。通过适当选择Tℓ1惩罚，也达到了可比较的稀疏度与测试准确率。
引用
@article{arxiv.1902.07419,
title = {Learning Sparse Neural Networks via $\ell_0$ and T$\ell_1$ by a Relaxed Variable Splitting Method with Application to Multi-scale Curve Classification},
author = {Fanghui Xue and Jack Xin},
journal= {arXiv preprint arXiv:1902.07419},
year = {2019}
}