提升还是不提升：关于提升神经网络的局限
机器学习
2021-07-30 v1
摘要
提升是一种通过线性组合许多“弱”假设来寻找高度准确假设的方法，其中每个弱假设可能仅有中等准确度。因此，提升是一种学习分类器集成的方法。虽然提升已被证明对决策树非常有效，但其对神经网络的影响尚未被广泛研究。我们证明决策树之和与卷积神经网络（CNNs）之和之间的一个重要区别：具有相同参数数量的决策树之和无法由单个决策树表示，而 CNNs 之和可由单个 CNN 表示。接下来，使用标准物体识别数据集，我们通过实验验证了众所周知的结果，即提升的决策树集成通常比具有相同参数数量的单个决策树在测试数据上泛化得好得多。相反，使用相同的数据集与提升算法，我们的实验显示当使用神经网络（包括 CNNs 与多层感知机（MLPs））时情况恰恰相反。我们发现单个神经网络通常比参数总数相同的较小神经网络提升集成泛化得更好。
引用
@article{arxiv.2107.13600,
title = {To Boost or not to Boost: On the Limits of Boosted Neural Networks},
author = {Sai Saketh Rambhatla and Michael Jones and Rama Chellappa},
journal= {arXiv preprint arXiv:2107.13600},
year = {2021}
}