差分隐私中由梯度错位导致的差异影响
机器学习
2023-02-24 v2 人工智能
密码学与安全
摘要
随着机器学习在社会中愈发普及，数据隐私与公平性等方方面面必须被审慎考量，且对于在高度监管行业中的部署至关重要。不幸的是，隐私增强技术的应用会加剧模型中的不公平倾向。特别是，最广泛使用的私有模型训练技术之一——差分私有随机梯度下降（DPSGD）——常会加剧对数据中各群体的差异影响。本工作中我们研究了 DPSGD 中不公平性的细粒度成因，并确定由不公平梯度裁剪导致的梯度错位是最显著的来源。该观察引出了一种通过防止 DPSGD 中梯度错位来减小不公平性的新方法。
引用
@article{arxiv.2206.07737,
title = {Disparate Impact in Differential Privacy from Gradient Misalignment},
author = {Maria S. Esipova and Atiyeh Ashari Ghomi and Yaqiao Luo and Jesse C. Cresswell},
journal= {arXiv preprint arXiv:2206.07737},
year = {2023}
}
备注
ICLR 2023 notable top 25%, https://openreview.net/forum?id=qLOaeRvteqbx. Our code is available at https://github.com/layer6ai-labs/fair-dp