关于最优AdaBoost的收敛性质

AdaBoost是最流行的机器学习算法之一。它易于实现，从业者通常认为非常有效，同时数学优雅且理论合理。AdaBoost在实践中有趣的行为仍然困扰着机器学习社区。我们研究了算法的稳定性，并建立了“最优AdaBoost”（Rudin、Daubechies和Schapire在2004年提出的术语）的多个收敛性质。我们在一个相当强的计算意义上证明了时间平均的几乎普遍存在，并由此证明了分类器本身、其泛化误差及其产生的间隔等在固定数据集上在合理条件下的收敛性。具体来说，我们将最优AdaBoost框架化为一个动力系统，并利用遍历论的工具证明，在最优AdaBoost最终没有与最弱弱分类器并列的条件下（我们提供了来自高维真实世界数据集的实证证据），算法的更新行为类似于连续映射。我们提供了最优AdaBoost的多个任意精确近似的构造性证明；证明了它们在有限时间内表现出某种循环行为，并且所得动力系统是遍历的；并建立了实际最优AdaBoost更新也满足相同条件的充分条件。我们相信我们的结果为两个开放猜想的肯定答案提供了相当强的证据，至少从广泛的计算理论角度来看：AdaBoost总是循环的并且是一个遍历动力系统。我们提供了实证证据表明循环难以检测而时间平均稳定很快。我们的结果为未来的收敛率分析奠定了基础，并可能有助于优化泛化能力并减轻从业者决定运行算法时间的负担。