无限受限玻尔兹曼机的更优训练
机器学习
2018-07-30 v2 人工智能
机器学习
摘要
无限受限玻尔兹曼机(iRBM)是经典RBM的扩展。它具有根据特定训练数据自动决定隐藏层大小的良好特性。经过充分训练，iRBM可以达到与经典RBM相竞争的性能。然而，由于iRBM对其隐藏单元的顺序敏感，学习iRBM的收敛速度慢，学到的滤波器从左至右隐藏单元变化缓慢。为了打破相邻隐藏单元之间的这种依赖并加速训练收敛，提出了一种新颖的训练策略。所提训练策略的关键思想是在每个梯度下降步之前随机重新分组隐藏单元。潜在地，通过这种学习方法可以实现具有不同隐藏单元排列的无限多个iRBM的混合，这具有与dropout类似的防止模型过拟合的效果。原始iRBM也被修改以能够进行判别训练。为了评估我们的方法对学习收敛速度和模型泛化能力的影响，在二值化MNIST和CalTech101 Silhouettes数据集上进行了若干实验。实验结果表明，所提出的训练策略可以极大加速学习并增强iRBM的泛化能力。
引用
@article{arxiv.1709.03239,
title = {On better training the infinite restricted Boltzmann machines},
author = {Xuan Peng and Xunzhang Gao and Xiang Li},
journal= {arXiv preprint arXiv:1709.03239},
year = {2018}
}
备注
Submitted to Machine Learning