主动学习的极小极大分析
机器学习
2014-10-07 v1 统计理论
机器学习
统计理论
摘要
本工作在各种噪声模型下，针对一般假设类，建立了主动学习极小极大标签复杂度的无分布上下界。结果揭示了许多令人惊讶的事实。特别是，在 Tsybakov (2004) 的噪声模型下，具有 VC 类的主动学习的极小极大标签复杂度在渐近意义上总是小于被动学习，并且通常显著小于主动学习文献中此前发布的最佳上界。在高噪声机制下，事实证明，给定 VC 维的所有主动学习问题具有大致相同的极小极大标签复杂度，这与有界噪声的已知结果形成对比。在低噪声机制下，我们发现标签复杂度可以由一个简单的组合复杂度度量很好地刻画，我们称之为星数（star number）。有趣的是，我们发现主动学习文献中此前探索的几乎所有复杂度度量的最坏情况值都恰好等于星数。我们还提出了新的主动学习策略，这些策略几乎能达到这些极小极大标签复杂度。
引用
@article{arxiv.1410.0996,
title = {Minimax Analysis of Active Learning},
author = {Steve Hanneke and Liu Yang},
journal= {arXiv preprint arXiv:1410.0996},
year = {2014}
}