SGD中的差分隐私与拜占庭鲁棒性：能否兼得？
机器学习
2021-06-25 v3 密码学与安全
分布式、并行与集群计算
摘要
本文探讨在机器学习 (ML) 中结合拜占庭鲁棒性与隐私的问题。具体而言，我们研究著名的随机梯度下降 (SGD) 学习算法的分布式实现是否能同时具备差分隐私 (DP) 与 -拜占庭鲁棒性。据我们所知，这是首个从理论视角解决该问题的工作。我们分析的一个关键发现是，针对这两个（看似）正交问题的经典方法互不兼容。更确切地说，我们表明这些技术的直接组合会使所得SGD算法的保证不利地依赖于ML模型的参数数量，使得大型模型的训练实际上不可行。我们通过在公开可用数据集上的数值实验验证了理论结果；表明同时保证DP与拜占庭鲁棒性是不切实际的。
引用
@article{arxiv.2102.08166,
title = {Differential Privacy and Byzantine Resilience in SGD: Do They Add Up?},
author = {Rachid Guerraoui and Nirupam Gupta and Rafaël Pinot and Sébastien Rouault and John Stephan},
journal= {arXiv preprint arXiv:2102.08166},
year = {2021}
}