重访模型无关的私有学习：更快的速率与主动学习
机器学习
2022-03-15 v4 密码学与安全
摘要
教师集成私有聚合（PATE）框架是差分私有学习中最有前景的近期方法之一。现有理论分析表明，PATE在可实现设定下一致地学习任意VC类，但未能解释其在最优分类器错误率远离零的更一般情形中的成功。我们通过引入Tsybakov噪声条件（TNC）填补此空白，并建立更强且更具可解释性的学习界。这些界提供了新的关于PATE何时有效的见解，且即使在更窄的可实现设定下也优于现有结果。我们还研究了利用主动学习节省隐私预算这一引人注目的想法，实证研究表明该新想法的有效性。证明中的新组件包括对多数投票分类器的更精细分析（这可能具有独立意义），以及观察到在Tsybakov噪声条件下合成的“学生”学习问题按构造近乎可实现。
引用
@article{arxiv.2011.03186,
title = {Revisiting Model-Agnostic Private Learning: Faster Rates and Active Learning},
author = {Chong Liu and Yuqing Zhu and Kamalika Chaudhuri and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2011.03186},
year = {2022}
}