私有预测卷土重来！基于个体 Rényi 滤波的私有核化最近邻
机器学习
2023-06-14 v1 密码学与安全
摘要
大多数现有的差分隐私（DP）机器学习方法聚焦于私有训练。尽管私有训练有诸多优势，其缺乏适应训练数据集增量变化（如行使 GDPR 被遗忘权所致的删除请求）的灵活性。我们重访一种久被遗忘的替代方案，即私有预测，并提出一种名为个体核化最近邻（Ind-KNN）的新算法。Ind-KNN 可随数据集变化轻松更新，并允许在个体用户层面精确控制 Rényi DP——用户的隐私损失由其对该预测贡献的确切量度量；当用户的预设隐私预算耗尽时即被移除。我们的结果表明，在四个视觉与语言任务上，对于广泛的 范围，Ind-KNN 相较现有私有预测方法一致地提升了准确率。我们也展示了若干 Ind-KNN 优于采用 NoisySGD 的私有训练的情形。
引用
@article{arxiv.2306.07381,
title = {"Private Prediction Strikes Back!'' Private Kernelized Nearest Neighbors with Individual Renyi Filter},
author = {Yuqing Zhu and Xuandong Zhao and Chuan Guo and Yu-Xiang Wang},
journal= {arXiv preprint arXiv:2306.07381},
year = {2023}
}