中文

一般半空间的主动学习:标签查询 vs 成员查询

机器学习 2025-01-03 v1

摘要

我们研究了在高斯分布上的RdR^d中的一般(即非齐次)半空间学习问题,以及某种查询访问权限。在经典的基于池的主动学习模型中,算法被允许对先前采样的点进行自适应标签查询,我们建立了一个强大的信息论下界,排除了对被动设置的非平凡改进。具体而言,我们表明,任何主动学习器都需要标签复杂度为Ω~(d/(log(m)ϵ))\tilde{\Omega}(d/(\log(m)\epsilon)),其中mm是未标记样本的数量。具体而言,要超越被动标签复杂度为O~(d/ϵ)\tilde{O} (d/\epsilon)的效果,主动学习器需要2poly(d)2^{poly(d)}个未标记样本。在积极方面,我们表明,在成员查询访问权限下,这一下界可以被规避,甚至在agnostic模型中也是如此。具体而言,我们给出了一个计算效率高的学习器,其查询复杂度为O~(min{1/p,1/ϵ}+dpolylog(1/ϵ))\tilde{O}(\min\{1/p, 1/\epsilon\} + d\cdot polylog(1/\epsilon)),实现误差保证为O(opt)+ϵO(opt)+\epsilon。其中p[0,1/2]p \in [0, 1/2]是偏置,optopt是最优半空间的0-1损失。作为一项推论,我们获得了在主动学习和成员查询模型之间的强分离。综上述结果,我们描述了在这些模型中学习一般半空间的复杂度。

关键词

引用

@article{arxiv.2501.00508,
  title  = {Active Learning of General Halfspaces: Label Queries vs Membership Queries},
  author = {Ilias Diakonikolas and Daniel M. Kane and Mingchen Ma},
  journal= {arXiv preprint arXiv:2501.00508},
  year   = {2025}
}

备注

Accepted by NeurIPS 2024