私有分类与在线预测的闭包性质

Noga Alon; Amos Beimel; Shay Moran; Uri Stemmer

私有分类与在线预测的闭包性质

机器学习 2020-05-14 v3 机器学习

作者: Noga Alon , Amos Beimel , Shay Moran , Uri Stemmer

摘要

设 $\cH$ 为一个布尔函数类，考虑一个由 $\cH$ 通过某种任意聚合规则导出的{\it 复合类} $\cH'$ （例如， $\cH'$ 可以是 $\cH$ 中函数的所有 3 元多数投票构成的类）。我们根据 $\cH$ 的 Littlestone 维给出了 $\cH'$ 的 Littlestone 维的上界。作为推论，我们导出了在线学习与私有 PAC 学习的闭包性质。所导出的 Littlestone 维上界呈现出不理想的指数依赖关系。对于私有学习，我们证明了接近最优的界，规避了这一次优依赖。私有学习样本复杂度的改进上界是通过算法方式得到的，即将原类 $\cH$ 的私有学习器转化为复合类 $\cH'$ 的私有学习器。利用相同思想，我们证明了任何在可实现情形下（即样本由类中某函数标注时）学习函数类 $\cH$ 的（{\em proper 或 improper}）私有算法，都可转化为在不可知情形下学习类 $\cH$ 的私有算法。

关键词

布尔函数类复合类 Littlestone 维在线学习私有 PAC 学习样本复杂度不可知学习

引用

@article{arxiv.2003.04509,
  title  = {Closure Properties for Private Classification and Online Prediction},
  author = {Noga Alon and Amos Beimel and Shay Moran and Uri Stemmer},
  journal= {arXiv preprint arXiv:2003.04509},
  year   = {2020}
}

备注

Improved some of the upper bounds w.r.t the Littlestone dimension. Most significantly, we removed two exponents from the bound w.r.t general composition (now it has a single exponent rather than triple exponents). Add a figure. Other

私有分类与在线预测的闭包性质

摘要

关键词

引用

备注

相关论文