利用先验知识超越主动学习的极小极大率
机器学习
2014-02-07 v2 机器学习
摘要
主动学习是指允许学习者选择一部分实例进行标记的学习协议。先前的研究表明，与被动学习相比，如果数据是线性可分的或满足参数 的 Tsybakov 噪声条件，主动学习能够指数级地降低标记复杂度。在本文中，我们提出了一种使用凸代理损失的新型主动学习算法，旨在扩大主动学习实现指数级改进的适用范围。我们使用凸损失不仅因为它降低了计算成本，更重要的是因为当当前解接近最优解时，它能导致经验过程（即经验估计与期望之间的差异）的紧界。在假设最小化凸风险的最优分类器的范数已知的情况下，我们的分析表明，即使 Tsybakov 噪声的参数 大于 ，引入凸代理损失也能使标记复杂度呈指数级降低。据我们所知，这是第一项通过利用某些先验知识来提高主动学习极小极大率的工作。
引用
@article{arxiv.1311.4803,
title = {Beating the Minimax Rate of Active Learning with Prior Knowledge},
author = {Lijun Zhang and Mehrdad Mahdavi and Rong Jin},
journal= {arXiv preprint arXiv:1311.4803},
year = {2014}
}