Neural Simpletrons——用于少标签学习的极简有向生成网络
机器学习
2019-05-01 v4 机器学习
摘要
半监督设定下的分类器通常将强监督模型与额外的学习目标相结合以利用未标记数据。这导致了强大但非常复杂的模型，其难以训练且需要额外标签用于最优参数调优，而当标记数据非常稀疏时往往缺乏这些标签。我们在此研究一种用于半监督学习的极简多层生成神经网络，其形式和设定尽可能类似于标准判别网络。基于归一化泊松混合，我们推导了紧凑且局部的学习与神经激活规则。网络中的学习与推断可使用标准深度学习工具进行扩展以实现并行化 GPU 部署。以似然优化为唯一目标，标记与未标记数据自然地被纳入学习。在标准基准上的实证评估表明，对于少标签数据集，所推导的极简网络改进了所有经典深度学习方法，并且无需额外标签调参即可与其近期变体竞争。此外，我们发现所研究的网络是少标签情形下性能最佳的单体（`非混合`）系统，并且它可应用于极少标签的极限情况，而据目前报道无其他系统能在此情形下运行。
引用
@article{arxiv.1506.08448,
title = {Neural Simpletrons - Minimalistic Directed Generative Networks for Learning with Few Labels},
author = {Dennis Forster and Abdul-Saboor Sheikh and Jörg Lücke},
journal= {arXiv preprint arXiv:1506.08448},
year = {2019}
}