内部节点装袋
机器学习
2018-09-24 v5 人工智能
机器学习
摘要
我们引入了一种新的视角来理解 dropout 如何作为一种不显式的集成学习方法工作，它并未指出有多少个以及哪些节点来学习某一特定特征。我们提出了一种名为内部节点装袋（internal node bagging）的新训练方法，它在训练时显式地强制一组节点学习某一特定特征，并在推理时将这些节点合并为一个节点。这意味着我们可以在训练时使用多得多的参数来提升模型的拟合能力，同时在推理时保持模型小巧。我们在多个基准数据集上测试了我们的方法，发现其在小模型上显著优于 dropout。
引用
@article{arxiv.1805.00215,
title = {Internal node bagging},
author = {Shun Yi},
journal= {arXiv preprint arXiv:1805.00215},
year = {2018}
}