私有永恒预测
机器学习
2023-05-17 v1 密码学与安全
数据结构与算法
摘要
私有学习器在带标签点的样本上训练,并生成可用于预测新采样点标签的假设,同时保护训练集的隐私[Kasiviswannathan 等人,FOCS 2008]。研究揭示,私有学习器可能需要比非私有学习器显著更高的样本复杂度,例如一维阈值函数的学习就是如此[Bun 等人,FOCS 2015,Alon 等人,STOC 2019]。我们探索以预测替代学习。预测器不给出假设,而是回答一串分类查询。早期工作考虑了一种仅含单次分类查询的私有预测模型[Dwork 和 Feldman,COLT 2018]。我们观察到,在回答查询流时,预测器必须随时间修改其使用的假设,并且必须利用查询进行此修改,从而就查询本身引入了潜在的隐私风险。我们提出私有永恒预测,同时考虑训练集与向预测器发出的(自适应选择的)查询的隐私。随后我们在 PAC 模型中给出私有永恒预测器的通用构造。我们构造中初始训练样本的样本复杂度在概念类的 VC 维上呈二次(至多相差多对数因子)。我们的构造允许对所有具有有限 VC 维的概念类进行预测,特别地,阈值函数即便在无限域上也可用常数大小的初始训练样本,而已知私有学习阈值函数的样本复杂度必须随域大小增长,因此在无限域上不可能。
引用
@article{arxiv.2305.09579,
title = {Private Everlasting Prediction},
author = {Moni Naor and Kobbi Nissim and Uri Stemmer and Chao Yan},
journal= {arXiv preprint arXiv:2305.09579},
year = {2023}
}