稀疏组受限玻尔兹曼机
机器学习
2010-08-31 v1
摘要
由于玻尔兹曼机中的学习通常非常缓慢，因此需要限制隐层内的连接。然而，由此产生的隐单元状态表现出统计依赖性。基于这一观察，我们建议在受限玻尔兹曼机中隐单元的激活可能性上使用 正则化，以捕获隐单元间的局部依赖性。该正则化不仅促使许多组的隐单元在给定观测数据时不被激活，还使得组内的隐单元相互竞争以对观测数据进行建模。因此，RBM 上的 正则化在组级别和隐单元级别均产生了稀疏性。我们将使用该正则化训练的 RBM 称为稀疏组 RBM。所提出的稀疏组 RBM 被应用于三个任务：自然图像块建模、手写数字建模以及为分类任务预训练深度网络。此外，我们说明该正则化也可应用于深度玻尔兹曼机，从而产生稀疏组深度玻尔兹曼机。当应用于 MNIST 数据集时，双层稀疏组玻尔兹曼机实现了 的错误率，据我们所知，这是 MNIST 任务置换不变版本上已发表的最佳结果。
引用
@article{arxiv.1008.4988,
title = {Sparse Group Restricted Boltzmann Machines},
author = {Heng Luo and Ruimin Shen and Cahngyong Niu},
journal= {arXiv preprint arXiv:1008.4988},
year = {2010}
}