受限玻尔兹曼机中的弹性正则化：处理 $p\gg N$
机器学习
2015-10-22 v2
摘要
受限玻尔兹曼机（RBMs）具备建模（二元）联合分布的通用能力。同时，由于其受限的网络结构，在应对逼近与推断问题时，训练RBMs面临的困难较少（相较于更复杂的模型，如玻尔兹曼机）。然而，在某些计算生物学场景中，例如癌症数据分析，由于“”问题（即特征/预测变量数量远大于样本量），采用RBMs建模数据特征可能失效。“”问题使得在设计统计学习方法时偏差-方差权衡处于更关键的地位。在本稿件中，我们试图通过提出一种称为弹性受限玻尔兹曼机（eRBM）的新型RBM模型来解决此问题，该模型将弹性正则化项纳入似然/代价函数。我们提供了若干关于模型优越性的理论分析。此外，得益于经典的对比散度（CD）算法，eRBMs可被高效训练。我们的新模型是一种用于未来癌症数据分析的有前景的方法。
引用
@article{arxiv.1510.03623,
title = {Elastic regularization in restricted Boltzmann machines: Dealing with $p\gg N$},
author = {Sai Zhang},
journal= {arXiv preprint arXiv:1510.03623},
year = {2015}
}
备注
This paper has been withdrawn by the author due to a critical error