关于标签差分隐私学习的理论极限
机器学习
2025-03-04 v2 信息论
math.IT
摘要
标签差分隐私 (DP) 旨在解决涉及私有标签和公共特征的学习问题。尽管已提出 various 方法用于标签 DP 下的学习，但理论极限仍基本未被探索。本文我们研究标签 DP 在局部和中心模型下进行分类和回归任务的基本极限，其由 minimax 收敛率所刻画。我们通过将每个任务转换为多个假设检验问题并估计检验误差来建立下界。此外，我们开发了算法以获得匹配的上界。我们的结果表明，在标签局部隐私 (LDP) 下，风险的收敛速度显著快于全域 LDP，即保护特征和标签的情况，这表明放宽 DP 定义以仅关注标签的优势。相比之下，在标签中心隐私 (CDP) 下，风险仅比全 DP 降低了一个常数因子，这表明 CDP 的放宽对性能的提升仅有限。
引用
@article{arxiv.2502.14309,
title = {On Theoretical Limits of Learning with Label Differential Privacy},
author = {Puning Zhao and Chuan Ma and Li Shen and Shaowei Wang and Rongfei Fan},
journal= {arXiv preprint arXiv:2502.14309},
year = {2025}
}