基于伪集成的学习
机器学习
2014-12-17 v1 机器学习
神经与进化计算
摘要
我们将伪集成（pseudo-ensemble）的概念形式化，即通过某种噪声过程扰动父模型而生成的（可能是无限的）子模型集合。例如，深度神经网络中的 dropout (Hinton et. al, 2012) 训练了一个伪集成，其子网络是通过随机掩蔽父网络中的节点生成的。我们提出了一种新的正则化器，旨在使伪集成的行为对其生成的噪声过程具有鲁棒性。在全监督设置下，我们的正则化器性能与 dropout 相当。但与 dropout 不同，我们的正则化器自然地扩展到了半监督设置，并在该设置下产生了最先进的结果。我们提供了一个案例研究，将 (Socher et. al, 2013) 的递归神经张量网络转化为伪集成，显著提升了其在真实世界情感分析基准测试中的性能。
引用
@article{arxiv.1412.4864,
title = {Learning with Pseudo-Ensembles},
author = {Philip Bachman and Ouais Alsharif and Doina Precup},
journal= {arXiv preprint arXiv:1412.4864},
year = {2014}
}
备注
To appear in Advances in Neural Information Processing Systems 27 (NIPS 2014), Advances in Neural Information Processing Systems 27, Dec. 2014