中文

高斯边缘分布下不可知学习半空间交集的近最优统计查询下界

机器学习 2022-02-11 v1

摘要

我们考虑了在具有挑战性的不可知学习模型下,于高斯分布上学习半空间交集这一被广泛研究的问题。Diakonikolas 等人 (2021) 的最新工作表明,任何用于在 Rn\mathbb{R}^n 上以恒定超额误差不可知地学习 kk 个半空间交集类的统计查询 (SQ) 算法,要么必须进行容忍度至多为 nΩ~(logk)n^{-\tilde{\Omega}(\sqrt{\log k})} 的查询,要么必须进行 2nΩ(1)2^{n^{\Omega(1)}} 次查询。我们通过将容忍度要求提高到 nΩ~(logk)n^{-\tilde{\Omega}(\log k)} 来强化这一结果。该下界本质上是最优的,因为 Klivans 等人 (2008) 的 SQ 算法使用 nO(logk)n^{O(\log k)} 次容忍度为 nO(logk)n^{-O(\log k)} 的查询,即可不可知地学习该类以达到任意恒定超额误差。我们证明了该下界的两个变体,每个变体都将 Diakonikolas 等人 (2021) 的方法与 Dachman-Soled 等人 (2014) 针对布尔设定的不可知 SQ 下界的另一种早期方法(及其扩展)相结合。我们的方法还给出了不可知地 SQ 学习“凸子空间军政府”(Vempala, 2010 年研究)类和具有有界高斯表面积集合类的下界;所有这些下界都近乎最优,因为它们本质上匹配了 Klivans 等人 (2008) 的已知上界。

关键词

引用

@article{arxiv.2202.05096,
  title  = {Near-Optimal Statistical Query Lower Bounds for Agnostically Learning Intersections of Halfspaces with Gaussian Marginals},
  author = {Daniel Hsu and Clayton Sanford and Rocco Servedio and Emmanouil-Vasileios Vlatakis-Gkaragkounis},
  journal= {arXiv preprint arXiv:2202.05096},
  year   = {2022}
}

备注

19 pages