在线深度学习：即时生长 RBM
神经与进化计算
2018-03-07 v1 机器学习
机器学习
摘要
我们提出一种受限玻尔兹曼机（RBM）的新型在线学习算法，即在线生成判别受限玻尔兹曼机（OGD-RBM），其能够根据流数据的统计特性构建并调整 RBM 的网络结构。OGD-RBM 分两阶段训练：（1）隐层无监督特征表示的在线生成阶段；（2）用于分类的判别阶段。在线生成训练从隐层零神经元开始，以单次无监督方式添加并更新神经元以适应流数据统计，从而得到最契合数据特征表示。判别阶段基于随机梯度下降，将所表示特征与类标签关联。我们在具有不同程度类不平衡的数据集上的一系列多类与二分类问题上演示了 OGD-RBM。我们首先将 OGD-RBM 算法应用于多类 MNIST 数据集以刻画网络演化。我们证明在线生成阶段收敛至稳定、简洁的网络结构，其中尽管为无监督训练，单个神经元却对类标签具有固有判别性。随后，我们利用 3 个具有不同程度类不平衡的公开非平稳二分类信用数据集，将 OGD-RBM 性能与其他机器学习、神经网络及 ClassRBM 技术在信用评分应用上进行了基准比较。我们报告称，OGD-RBM 相较批学习技术准确率提升 2.5–3%，同时所需神经元至少减少 24%–70%、训练样本更少。该在线生成训练方法可贪心地扩展至多层，以在非平稳数据挖掘应用中训练深度信念网络，而无需预先固定架构。
引用
@article{arxiv.1803.02043,
title = {Online Deep Learning: Growing RBM on the fly},
author = {Savitha Ramasamy and Kanagasabai Rajaraman and Pavitra Krishnaswamy and Vijay Chandrasekhar},
journal= {arXiv preprint arXiv:1803.02043},
year = {2018}
}
备注
14 pages, 4 figures, 2 tables