分布特定的不可知提升
机器学习
2012-02-22 v1 计算复杂性
摘要
我们考虑在Haussler (1992)和Kearns等人(1992)的不可知学习框架中提升弱学习算法准确率的问题。已知的解决该问题的算法(Ben-David等人, 2001; Gavinsky, 2002; Kalai等人, 2008)遵循与PAC模型中提升算法相同的策略：弱学习器在相同的目标函数上执行，但在域上不同的分布下进行。我们展示了针对不可知学习框架的提升算法，该算法仅修改数据点标签上的分布（或等价地，修改目标函数）。这使得能够将分布特定的弱不可知学习器提升为针对同一分布的强不可知学习器。当应用于Goldreich和Levin (1989)的弱不可知奇偶性学习算法时，我们的算法产生了一个简单的用于DNF的PAC学习算法，以及一个在均匀分布下使用成员查询的决策树不可知学习算法。这些结果极大地简化了Jackson著名的DNF学习算法(1994)以及Gopalan等人(2008)的最新结果。我们还通过证明实现最优硬核集大小（由Holenstein (2005)和Barak等人(2009)给出）的硬核集构造蕴含分布特定的不可知提升算法，加强了与Klivans和Servedio (1999)发现的硬核集构造之间的联系。反之，我们的提升算法给出了一个具有（几乎）最优硬核集大小的简单硬核集构造。
引用
@article{arxiv.0909.2927,
title = {Distribution-Specific Agnostic Boosting},
author = {Vitaly Feldman},
journal= {arXiv preprint arXiv:0909.2927},
year = {2012}
}