通过公共二阶矩增强差分隐私线性回归
机器学习
2025-08-26 v1 统计方法学
机器学习
摘要
利用公共数据中的信息在增强差分隐私（DP）方法的效用方面变得日益关键。传统的DP方法通常仅基于私有数据添加噪声，这可能显著降低效用。在本文中，我们在无界数据假设下，基于充分统计量扰动（SSP）的线性回归普通最小二乘估计量（OLSE）的背景下解决了这一局限性。我们提出了一种新方法，涉及使用公共二阶矩矩阵变换私有数据以计算变换后的SSP-OLSE，其二阶矩矩阵产生更好的条件数，并提高了OLSE的准确性和鲁棒性。我们推导了我们的方法和标准SSP-OLSE相对于非DP OLSE的理论误差界限，揭示了我们的方法所实现的改进的鲁棒性和准确性。在合成和真实数据集上的实验证明了我们方法的效用和有效性。
引用
@article{arxiv.2508.18037,
title = {Enhancing Differentially Private Linear Regression via Public Second-Moment},
author = {Zilong Cao and Hai Zhang},
journal= {arXiv preprint arXiv:2508.18037},
year = {2025}
}