中文

高斯单指标模型的样本与计算高效的鲁棒学习

机器学习 2024-11-11 v1

摘要

单指标模型(SIM)是一种形如 σ(wx)\sigma(\mathbf{w}^{\ast} \cdot \mathbf{x}) 的函数,其中 σ:RR\sigma: \mathbb{R} \to \mathbb{R} 是已知的连接函数,w\mathbf{w}^{\ast} 是隐藏单位向量。我们研究了在Gaussian分布下关于 L22L^2_2-loss 的SIMs在agnostic(又称对抗标签噪声)模型中的学习任务。我们的主要结果是达到了 L22L^2_2-error 为 O(OPT)+ϵO(\mathrm{OPT})+\epsilon 的样本和计算高效的agnostic适当学习器,其中 OPT\mathrm{OPT} 为最优损失。我们的算法样本复杂度为 O~(dk/2+d/ϵ)\tilde{O}(d^{\lceil k^{\ast}/2\rceil}+d/\epsilon),其中 kk^{\ast}σ\sigma 对应的信息指数,即其第一个非零Hermite系数的次数。该样本界几乎匹配已知的CSQ下界,即使在可实现情形下也是如此。该领域先前的算法工作侧重于在可实现情况下或在半随机噪声存在下学习。先前的计算高效的鲁棒学习器需要对连接函数做出更强的假设。

关键词

引用

@article{arxiv.2411.05708,
  title  = {Sample and Computationally Efficient Robust Learning of Gaussian Single-Index Models},
  author = {Puqian Wang and Nikos Zarifis and Ilias Diakonikolas and Jelena Diakonikolas},
  journal= {arXiv preprint arXiv:2411.05708},
  year   = {2024}
}