最优 AdaBoost 与决策树桩中的一些开放问题
机器学习
2015-05-27 v1 机器学习
摘要
鉴于 AdaBoost 的简洁性、广泛的实际使用以及在真实世界数据集上的有效性，研究其理论和实际性质的重要性毋庸置疑。在此我们提出关于“最优 AdaBoost”行为的一些开放问题，该术语由 Rudin、Daubechies 和 Schapire 于 2004 年创造，用于标记标准 AdaBoost 算法的简单版本，其中 AdaBoost 使用的弱学习器总是输出在弱学习器隐含的弱分类器假设类中具有最低加权误差的弱分类器。我们专注于用于二分类的标准“朴素”版最优 AdaBoost，它源于对误分类训练误差使用指数损失上界。我们提出两类开放问题。一类涉及一般弱假设。另一类涉及实践中常用且常见的决策树桩特例。这些开放问题的答案可对以下方面产生直接显著影响：（1）巩固先前建立的关于有限数据集上最优 AdaBoost 渐近收敛性质的结果，这进而可作为任何收敛速率分析的起点；（2）理解从数据生成的有效决策树桩的弱假设类，我们经实验观察到其明显小于通常获得的类，以及对弱学习器运行时间和先前建立的最优 AdaBoost 分类器泛化性能的改进界的影响；（3）阐明 AdaBoost 在实践中往往展现出的“自控制”现象。
引用
@article{arxiv.1505.06999,
title = {Some Open Problems in Optimal AdaBoost and Decision Stumps},
author = {Joshua Belanich and Luis E. Ortiz},
journal= {arXiv preprint arXiv:1505.06999},
year = {2015}
}
备注
4 pages, rejected from COLT15 Open Problems May 19, 2015 (submitted April 21, 2015; original 3 pages in COLT-conference format)