中文

具有 Tsybakov 噪声的高效主动学习半空间:一种非凸优化方法

机器学习 2024-07-23 v2 机器学习

摘要

我们研究在结构化无标签数据分布下,具有 Tsybakov 噪声~\citep{tsybakov2004optimal} 的 d 维半空间的算力与标签高效 PAC 主动学习问题。受~\cite{diakonikolas2020learning} 启发,我们证明光滑非凸损失函数的任意近似一阶驻点均可给出一个具有低超额误差保证的半空间。基于上述结构结果,我们设计了一种基于非凸优化的算法,在 Tsybakov 噪声参数 α(13,1]\alpha \in (\frac13, 1] 的假设下,其标签复杂度为 O~(d(1ϵ)86α3α1)\tilde{O}(d (\frac{1}{\epsilon})^{\frac{8-6\alpha}{3\alpha-1}}),这缩小了此前已知高效被动或主动算法~\citep{diakonikolas2020polynomial,zhang2021improved} 的标签复杂度与该设定下信息论下界之间的差距。

关键词

引用

@article{arxiv.2310.15411,
  title  = {Efficient Active Learning Halfspaces with Tsybakov Noise: A Non-convex Optimization Approach},
  author = {Yinan Li and Chicheng Zhang},
  journal= {arXiv preprint arXiv:2310.15411},
  year   = {2024}
}

备注

29 pages