半监督神经Simpletrons的截断变分EM
机器学习
2017-02-08 v1 机器学习
摘要
概率生成网络的推断与学习通常极具挑战性，且通常阻碍其扩展到如深度判别方法所用的大型网络。为了获得可用于半监督学习的高效可训练、大规模且性能良好的生成网络，我们在此结合两项近期进展：层次泊松混合的神经网络重构（Neural Simpletrons）和一种新颖的截断变分EM方法（TV-EM）。TV-EM为生成网络中的学习提供理论保证，其应用于Neural Simpletrons导致了尤为紧凑但近似最优的学习方程修正。若应用于标准基准，我们经验性地发现，学习在更少的EM迭代中收敛，每次EM迭代的复杂度降低，且最终似然值平均更高。对于少标签数据集上的分类任务，与无截断的应用相比，学习改进带来了持续更低的错误率。在MNIST数据集上的实验允许与半监督设定下的标准及最先进模型进行比较。在NIST SD19数据集上的进一步实验显示了当存在大量额外未标记数据时该方法的可扩展性。
引用
@article{arxiv.1702.01997,
title = {Truncated Variational EM for Semi-Supervised Neural Simpletrons},
author = {Dennis Forster and Jörg Lücke},
journal= {arXiv preprint arXiv:1702.01997},
year = {2017}
}