基于非负矩阵分解的深度神经网络交替优化方法
机器学习
2016-05-17 v1 神经与进化计算
机器学习
摘要
用于计算梯度的反向传播算法已广泛应用于深度神经网络（DNNs）的权重计算。该方法需要目标函数的导数，并且在寻找如学习率等合适参数时存在某些困难。本文中，我们提出一种通过使用两类半非负矩阵分解（semi-NMFs）来计算全连接DNN权重矩阵的新方法。在该方法中，优化过程通过交替计算权重矩阵执行，且不使用反向传播（BP）。我们还提出了一种使用NMF计算栈式自编码器的方法。自编码器的输出结果被用作DNNs的预训练数据。实验结果表明，我们使用三类NMF的方法达到了与带BP的传统DNNs相似的错误率。
引用
@article{arxiv.1605.04639,
title = {Alternating optimization method based on nonnegative matrix factorizations for deep neural networks},
author = {Tetsuya Sakurai and Akira Imakura and Yuto Inoue and Yasunori Futamura},
journal= {arXiv preprint arXiv:1605.04639},
year = {2016}
}
备注
9 pages, 2 figures