基于层生成算法的深度信念网络自适应学习方法
神经与进化计算
2018-07-12 v2 计算机视觉与模式识别
摘要
深度信念网络（DBN）具有深层架构，通过预训练的受限玻尔兹曼机（RBM）分层表示输入模式的多种特征。传统的 RBM 或 DBN 模型在学习阶段无法改变其网络结构。我们提出的自适应学习方法能够根据输入空间发现隐藏神经元、权重和/或层的最优数量。该模型是兼顾计算成本与模型稳定性的重要方法。由于从训练好的网络中提取显式知识是必需的，保持网络稀疏结构的正则性是一个值得关注的问题。在我们之前的研究中，我们开发了 RBM 自适应结构学习方法与针对训练后 RBM 的学习遗忘方法相结合的混合方法。本文中，我们提出 DBN 的自适应学习方法，可在学习过程中确定最优层数。我们在若干基准数据集上评估了所提出的模型。
引用
@article{arxiv.1807.03486,
title = {An Adaptive Learning Method of Deep Belief Network by Layer Generation Algorithm},
author = {Shin Kamada and Takumi Ichimura},
journal= {arXiv preprint arXiv:1807.03486},
year = {2018}
}
备注
4 pages, 2 figures, Proc. of 2016 IEEE Region 10 Conference (TENCON2016)