基于深度渲染混合模型的半监督学习
机器学习
2016-12-07 v1 机器学习
神经与进化计算
摘要
半监督学习算法通过在学习过程中同时使用有标签和无标签数据，降低了获取带标签训练数据的高昂成本。深度卷积网络在监督任务中取得了巨大成功，因此被广泛应用于半监督学习中。本文利用了近期开发的深度渲染混合模型，这是一种对潜在干扰变化进行建模的概率生成模型，其推断算法可生成 DCN。我们为 DRMM 开发了一种 EM 算法，以同时从有标签和无标签数据中学习。在 DRMM 理论的指导下，我们引入了一种新颖的非负性约束和一个变分推断项。我们在 MNIST 和 SVHN 上报告了 SOTA 性能，并在 CIFAR10 上取得了有竞争力的结果。我们还利用合成渲染图像，更深入地探讨了在半监督设置下训练的 DRMM 如何表示潜在的干扰变化。总而言之，我们的工作为监督、无监督和半监督学习提供了一个统一框架。
引用
@article{arxiv.1612.01942,
title = {Semi-Supervised Learning with the Deep Rendering Mixture Model},
author = {Tan Nguyen and Wanjia Liu and Ethan Perez and Richard G. Baraniuk and Ankit B. Patel},
journal= {arXiv preprint arXiv:1612.01942},
year = {2016}
}