用于基于部件的表示发现和预测模型稳定的非负受限玻尔兹曼机
机器学习
2017-08-21 v1
摘要
任何机器学习系统的成功都关键取决于数据的有效表示。在许多情况下，希望表示方案能够揭示数据的基于部件的、加性的本质。在当前的表示学习方案中，受限玻尔兹曼机（RBM）已被证明在无监督环境中非常有效。然而，当涉及到基于部件的发现时，RBM通常不会产生令人满意的结果。我们通过将非负性引入模型权重来增强RBM的这种能力，从而产生一种称为非负受限玻尔兹曼机（NRBM）的变体。NRBM不仅产生数据到可解释部件的可控分解，还提供了一种估计数据固有非线性维度的方法，并有助于稳定线性预测模型。我们在手写数字识别、人脸识别、文档分类和患者再入院预后等应用上展示了我们模型的能力。图像上的分解质量与非负矩阵分解（NMF）产生的结果相当或更好，从文本中发现的专题特征在定性上可解释，方式类似于潜在狄利克雷分配（LDA）。在医学数据上的特征选择稳定性性能优于RBM，并与NMF竞争。学习到的特征在用于分类时，比NMF和LDA发现的那些更具判别力，并与RBM发现的那些相当。
引用
@article{arxiv.1708.05603,
title = {Nonnegative Restricted Boltzmann Machines for Parts-based Representations Discovery and Predictive Model Stabilization},
author = {Tu Dinh Nguyen and Truyen Tran and Dinh Phung and Svetha Venkatesh},
journal= {arXiv preprint arXiv:1708.05603},
year = {2017}
}