利用极小化自由能的精英样本提升深度信念网络训练
机器学习
2015-08-21 v1 计算机视觉与模式识别
摘要
如今在机器学习中使用深度架构非常流行。深度信念网络（DBN）是一种深度架构，它使用受限玻尔兹曼机（RBM）的堆叠来利用训练数据创建强大的生成模型。本文提出了一种通常用于训练RBM的常见方法的改进。新方法使用自由能作为标准，从生成模型中获取精英样本。我们认为这些样本可以更准确地计算训练数据的对数概率梯度。根据结果，在MNIST测试集上实现了0.99%的错误率。该结果表明，所提出的方法优于首次提出DBN的论文中介绍的方法（1.25%错误率）以及SVM（1.4%错误率）和KNN（1.6%错误率）等通用分类方法。在使用ISOLET数据集的另一项测试中，字母分类错误率降至3.59%，而这些论文使用该数据集时实现的错误率为5.59%。所实现的方法可在"http://ceit.aut.ac.ir/~keyvanrad/DeeBNet Toolbox.html"在线获取。
引用
@article{arxiv.1411.4046,
title = {Deep Belief Network Training Improvement Using Elite Samples Minimizing Free Energy},
author = {Mohammad Ali Keyvanrad and Mohammad Mehdi Homayounpour},
journal= {arXiv preprint arXiv:1411.4046},
year = {2015}
}
备注
18 pages. arXiv admin note: substantial text overlap with arXiv:1408.3264