AdaBoost 的收敛速率

AdaBoost 算法旨在将许多性能略优于随机猜测的“弱”假设组合成一个具有极低误差的“强”假设。我们研究了 AdaBoost 迭代收敛至“指数损失”最小值的速率。与以往工作不同，我们的证明不需要弱学习假设，也不要求指数损失的最小化子是有限的。我们的第一个结果表明，在迭代 $t$ 时，AdaBoost 计算出的参数向量的指数损失，将在最多为 $B$ 和 $1/\epsilon$ 的多项式次数的轮数内，不超过任何 $\ell_1$ 范数受限于 $B$ 的参数向量的指数损失加 $\epsilon$。我们还提供了下界，表明对这些参数的多项式依赖是必要的。我们的第二个结果是，在 $C/\epsilon$ 次迭代内，AdaBoost 达到的指数损失值不超过最优可能值加 $\epsilon$，其中 $C$ 依赖于数据集。我们证明，这种速率对 $\epsilon$ 的依赖在常数因子意义下是最优的，即至少需要 $\Omega(1/\epsilon)$ 轮才能达到与最优指数损失相差 $\epsilon$ 以内。