中文

具有非平凡节省的不可知成员查询学习:新结果与技巧

机器学习 2023-11-14 v1 计算复杂性 机器学习

摘要

(删节版)在不可知学习模型(Haussler, 1992; Kearns et al., 1994)中设计计算高效的算法是出了名的困难。在这项工作中,我们考虑针对不可知学习前沿的试金石类,使用成员查询进行不可知学习,重点关注相对于 2n2^n 的平凡运行时间可以节省多少计算量。该方法受“具有非平凡节省的学习”(Servedio and Tan, 2017)研究的启发并延续了该研究。为此,我们建立了多种不可知学习算法,重点包括:1. 针对由亚线性个门组成的电路的不可知学习算法,其中每个门可以是任意可由亚对数次数 k 多项式阈值函数计算的函数(电路深度仅受大小限制)。该算法在 {0,1}n\{0,1\}^n 上未标记样本的均匀分布下运行时间为 2ns(n)2^{n -s(n)},其中 s(n)n/(k+1)s(n) \approx n/(k+1)。2. 针对由亚线性个门组成的电路的不可知学习算法,其中每个门可以是任意可由亚指数大小、亚对数次数 k 的 \sym+\sym^+ 电路计算的函数。该算法运行时间为 2ns(n)2^{n-s(n)},其中 s(n)n/(k+1)s(n) \approx n/(k+1),并在未标记样本的分布上学习,这些分布是 k+1k+1 个任意且未知的分布的乘积,每个分布定义在 {0,1}n/(k+1)\{0,1\}^{n/(k+1)} 上(不失一般性地假设 k+1k+1 整除 nn)。

关键词

引用

@article{arxiv.2311.06690,
  title  = {Agnostic Membership Query Learning with Nontrivial Savings: New Results, Techniques},
  author = {Ari Karchmer},
  journal= {arXiv preprint arXiv:2311.06690},
  year   = {2023}
}