Bagging 是最优 PAC 学习器
机器学习
2023-06-19 v3 数据结构与算法
摘要
在可实现设定下确定 PAC 学习的最优样本复杂度，数十年来一直是学习理论中的核心开放问题。最终，Hanneke（2016）的开创性工作给出了一种具有可证明最优样本复杂度的算法。他的算法基于对训练数据的精细结构化子采样，然后返回在每个子样本上训练所得假设的多数投票。尽管这是一个非常令人振奋的理论结果，但由于其低效性，它并未在实践中产生太大影响——该算法构造了训练数据的多项式个子样本，每个大小为线性。本文中，我们证明了令人惊讶的结果：由 Breiman（1996）提出的实用且经典的启发式方法 bagging（即 bootstrap aggregation）实际上也是一个最优 PAC 学习器。Bagging 比 Hanneke 的算法早二十年，且在大多数本科机器学习课程中都有讲授。此外，我们表明它仅需对数数量的子样本即可达到最优性。
引用
@article{arxiv.2212.02264,
title = {Bagging is an Optimal PAC Learner},
author = {Kasper Green Larsen},
journal= {arXiv preprint arXiv:2212.02264},
year = {2023}
}