从特征学习视角看 AdaBoost 及一种新算法
机器学习
2020-07-30 v1 机器学习
摘要
AdaBoost 算法具有抵抗过拟合的优势。理解该现象背后的机理是一个极具吸引力的基础理论问题。许多研究致力于从统计视角和间隔理论加以解释。本文从特征学习视角加以阐述，并提出 AdaBoost+SVM 算法，该算法能够直接且易懂地解释 AdaBoost 的抗过拟合性。首先，我们采用 AdaBoost 算法学习基分类器。然后，不直接对基分类器进行加权组合，而是将其视为特征并输入 SVM 分类器。由此可获得新的系数与偏置，用于构造最终分类器。我们解释了其合理性，并证明了当这些特征的维数增大时 SVM 性能不会变差的定理，从而能够解释 AdaBoost 的抗过拟合性。
引用
@article{arxiv.1904.03953,
title = {Feature Learning Viewpoint of AdaBoost and a New Algorithm},
author = {Fei Wang and Zhongheng Li and Fang He and Rong Wang and Weizhong Yu and Feiping Nie},
journal= {arXiv preprint arXiv:1904.03953},
year = {2020}
}