带特征值衰减正则化器的深度学习
机器学习
2016-05-10 v3
摘要
本文扩展了我们先前利用特征值衰减对神经网络进行正则化的工作，通过采用主特征值的软近似，以使其能够关于突触权重求导，从而应用反向传播，而这是深度学习的主要需求。此外，我们将先前的理论分析扩展到深度神经网络与多类分类问题。我们的方法作为附加正则化器在Keras(一个用Python编写的模块化神经网络库)中实现，并在基准数据集Reuters Newswire Topics Classification、用于二分类情感分类的IMDB数据库、手写数字MNIST数据库以及用于图像分类的CIFAR-10数据集上进行了评估。
引用
@article{arxiv.1604.06985,
title = {Deep Learning with Eigenvalue Decay Regularizer},
author = {Oswaldo Ludwig},
journal= {arXiv preprint arXiv:1604.06985},
year = {2016}
}