近最优的隐私保护与鲁棒线性回归
机器学习
2023-02-01 v1 密码学与安全
统计理论
机器学习
统计理论
摘要
我们研究了在部分响应变量遭受对抗性损坏的情况下，基于 个独立同分布样本、在 -差分隐私下进行的典型统计估计问题——线性回归。我们提出了一种流行的差分隐私随机梯度下降（DP-SGD）算法的变体，具有两项创新：采用全批量梯度下降以改善样本复杂度，以及一种新颖的自适应裁剪以保证鲁棒性。在没有对抗性损坏时，该算法的表现优于现有最优方法，并实现了近最优的样本复杂度。在标签损坏情形下，这是首个能够保证 -DP 与鲁棒性的高效线性回归算法。合成实验证实了我们所提方法的优越性。
引用
@article{arxiv.2301.13273,
title = {Near Optimal Private and Robust Linear Regression},
author = {Xiyang Liu and Prateek Jain and Weihao Kong and Sewoong Oh and Arun Sai Suggala},
journal= {arXiv preprint arXiv:2301.13273},
year = {2023}
}