具有统计保证的差分隐私线性回归与合成数据生成
机器学习
2026-03-31 v3 机器学习
摘要
在社会科学中，小到中等规模的数据集常见，线性回归是典型方法。在隐私意识的环境中，大量工作聚焦于差分隐私 (DP) 线性回归，但主要关注点估计，忽略了不确定性量化。同时，合成数据生成 (SDG) 正日益重要，但当前 DP 线性回归方法不利于支持。主流 DP-SDG 方法要么针对离散或离散化数据设计，要么依赖深度学习模型，需要大数据集，这限制了其在社会科学中常见的小规模数据上的应用。我们提出一种在高斯 DP 下进行线性回归的方法，包括偏差校正的估计器和渐近置信区间 (CI)，以及一种通用的 SDG 程序，使得对应的回归在合成数据上匹配我们的 DP 线性回归程序。我们的方法在小到中等维度设置下有效。实验表明，我们的方法 (1) 在现有 DP 线性回归方法中提高了精度，(2) 提供了有效的 CI，(3) 比当前 DP synthesizers 产生更可靠的合成数据，用于下游统计和机器学习任务。
引用
@article{arxiv.2510.16974,
title = {Differentially Private Linear Regression and Synthetic Data Generation with Statistical Guarantees},
author = {Shurong Lin and Aleksandra Slavković and Deekshith Reddy Bhoomireddy},
journal= {arXiv preprint arXiv:2510.16974},
year = {2026}
}