中文

不可知选择性分类主动学习与分歧系数之间的关系

机器学习 2017-03-31 v2

摘要

选择性分类器 (f,g)(f,g) 由一个分类函数 ff 和一个二元选择函数 gg 组成,后者决定分类器是放弃预测还是使用 ff 进行预测。如果分类器在不放弃预测的情况下,对每个点的分类都与事后最佳分类器(来自同一类)相同,则称该分类器为逐点竞争性分类器。此类分类器的质量由其拒绝质量量化,定义为被拒绝点的概率质量。如果拒绝质量以 O(1/m)O(1/m) 为上界(其中 mm 是用于训练分类器的标记示例数量,且 OO 隐藏了对数因子),则实现了“快速”拒绝率。逐点竞争性选择性(PCS)分类器与基于分歧的主动学习密切相关,已知在可实现情况下,已知 PCS 算法(称为一致选择策略)的快速拒绝率等价于著名的 CAL 主动算法的指数级加速。我们关注不可知设置,在该设置下存在一种称为 LESS 的已知算法,它能在强假设下学习 PCS 分类器并实现快速拒绝率(取决于 Hanneke 的分歧系数)。我们提出了一种改进的 PCS 学习算法,称为 ILESS,证明了其在无任何假设的情况下也能实现快速拒绝率(取决于 Hanneke 的分歧系数)。我们的拒绝界平滑地插值了可实现和不可知设置。本文的主要结果是以下三个实体之间的等价性:(i) 任何 PCS 学习算法(如 ILESS)存在快速拒绝率;(ii) Hanneke 分歧系数的多对数界;以及 (iii) 一种新的基于分歧的主动学习器 ActiveiLESS 的指数级加速。

关键词

引用

@article{arxiv.1703.06536,
  title  = {The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient},
  author = {Roei Gelbhart and Ran El-Yaniv},
  journal= {arXiv preprint arXiv:1703.06536},
  year   = {2017}
}