私有梯度的数据价值估计
机器学习
2024-12-24 v1 人工智能
密码学与安全
摘要
在实践中常采用的基于梯度的机器学习方法（如随机梯度下降）的事实差分隐私（DP）技术是对梯度添加随机高斯噪声。数据定价通过归因于训练数据来衡量机器学习性能，在需要强制执行DP的隐私敏感应用中广泛使用，包括数据定价、联合机器学习和联邦学习（FL）。现有的评估方法在通过梯度扰动实现DP时是否仍可使用？我们指出，由于默认方法向梯度中注入独立同分布的随机噪声，答案是否定的，因为数据价值估计的不确定性会随估计预算的增加而线性增长，导致估计几乎像随机猜测。为解决此问题，我们提出改用注入 Carefully 相关噪声，以可证明地消除估计预算相关的不确定性线性增长。我们还在各种机器学习任务上验证了该方法能提供更好的数据价值估计，并适用于数据集评估和联邦学习等应用场景。
引用
@article{arxiv.2412.17008,
title = {Data value estimation on private gradients},
author = {Zijian Zhou and Xinyi Xu and Daniela Rus and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2412.17008},
year = {2024}
}