$(\epsilon, \delta)$ -差分私有部分最小二乘回归
机器学习
2024-12-13 v1 机器学习
摘要
随着数据隐私要求日益严格以及基于敏感数据的统计模型被越来越多地部署和使用，保护数据隐私变得至关重要。部分最小二乘 (PLS) 回归是分析化学中构建此类模型的首选工具，但其本身不提供隐私保证，使底层训练数据暴露于隐私攻击之下。为填补这一差距，我们提出一种 -差分私有 PLS (edPLS) 算法，将已广泛研究且在理论上得到动机的高斯噪声添加机制集成到 PLS 算法中，以确保数据的隐私。我们的方法涉及对 PLS 算法中的四个关键函数（权重、得分、-载荷和 -载荷）添加精心校准的高斯噪声。噪声方差基于每个函数的全局灵敏度确定，确保隐私损失根据 -差分隐私框架受到控制。具体而言，我们推导每个函数的灵敏度上界，并利用这些上界为模型组件添加噪声。实验结果表明，edPLS 有效地使针对恢复训练数据中唯一可变性源的隐私攻击无效。将 edPLS 应用于 NIR 玉米基准数据集显示，在较强的隐私水平（即 ）下，均方根预测误差 (RMSEP) 仍保持具竞争力，前提是对相应光谱进行适当的预处理。这一发现凸显了 edPLS 在创建隐私保护的多变量标定以及分析其隐私-效用权衡方面的实际实用性。
引用
@article{arxiv.2412.09164,
title = {$(\epsilon, \delta)$-Differentially Private Partial Least Squares Regression},
author = {Ramin Nikzad-Langerodi and Mohit Kumar and Du Nguyen Duy and Mahtab Alghasi},
journal= {arXiv preprint arXiv:2412.09164},
year = {2024}
}
备注
14 pages, 5 figure