差分隐私在实践中能否防止后门攻击？
密码学与安全
2023-11-13 v1 机器学习
摘要
差分隐私（DP）最初是为保护隐私而开发的。然而，近来它被用于保护机器学习（ML）模型免受投毒攻击，其中 DP-SGD 受到了大量关注。尽管如此，仍需深入调研以评估不同 DP 技术在实践中防止后门攻击的有效性。在本文中，我们研究了 DP-SGD 的有效性，并在文献中首次在後门攻击背景下考察 PATE。我们还探究了 DP 算法不同组件在防御后门攻击中的作用，并将表明 PATE 之所以能有效抵御这些攻击，是因为其采用的教师模型具有装袋（bagging）结构。我们的实验揭示，超参数以及训练数据集中的后门数量会影响 DP 算法的成功率。此外，我们提出 Label-DP 作为比 DP-SGD 和 PATE 更快且更准确的替代方案。我们得出结论：尽管 Label-DP 算法通常提供更弱的隐私保护，但精确的超参数调优可使它们在保持模型准确率的同时，比 DP 方法更有效地防御后门攻击。
引用
@article{arxiv.2311.06227,
title = {Does Differential Privacy Prevent Backdoor Attacks in Practice?},
author = {Fereshteh Razmi and Jian Lou and Li Xiong},
journal= {arXiv preprint arXiv:2311.06227},
year = {2023}
}