受成对约束引导的高斯可见单元受限玻尔兹曼机
机器学习
2018-12-06 v2
摘要
受限玻尔兹曼机(RBMs)及其变体通常通过对比散度(CD)学习进行训练，但该训练过程是一种无监督学习方法，没有任何背景知识的引导。为了增强传统RBMs的表达能力，本文提出成对约束受限玻尔兹曼机与高斯可见单元(pcGRBM)模型，其中学习过程受成对约束引导，编码过程在这些引导下进行。成对约束被编码在pcGRBM的隐藏层特征中。随后，pcGRBM的一些成对隐藏特征聚集在一起，而另一部分则在引导下分离。为了处理实值数据，在pcGRBM模型中使用带高斯噪声的线性单元替代二值可见单元。在pcGRBM的学习过程中，成对约束在CD学习期间作为可见单元与隐藏单元之间的迭代转换。然后，所提模型通过近似梯度下降法推断，本文设计了相应的学习算法。为了比较pcGRBM与传统高斯可见单元RBMs的可用性，将pcGRBM和RBMs隐藏层的特征分别用作K-means、谱聚类(SP)和亲和传播(AP)算法的输入'data'。使用微软亚洲研究院多媒体(MSRA-MM)的十六个图像数据集进行了全面的实验评估。实验结果表明，基于pcGRBM模型的K-means、SP和AP算法的聚类性能显著优于传统RBMs。此外，pcGRBM模型在聚类任务上表现出优于一些半监督聚类算法的性能。
引用
@article{arxiv.1701.03647,
title = {Restricted Boltzmann Machines with Gaussian Visible Units Guided by Pairwise Constraints},
author = {Jielei Chu and Hongjun Wang and Hua Meng and Peng Jin and Tianrui Li},
journal= {arXiv preprint arXiv:1701.03647},
year = {2018}
}
备注
13pages