去中心化学习中隐私保护与时变拜占庭鲁棒性之间的权衡
机器学习
2024-10-15 v4 密码学与安全
分布式、并行与集群计算
摘要
本文联合考虑去中心化学习中的隐私保护和拜占庭鲁棒性。在去中心化网络中，诚实但好奇的节点忠实遵循规定的算法，但期望从学习过程中接收到的消息推断其邻居的私有数据，而不诚实且拜占庭的节点不遵守规定的算法，并故意向邻居传播错误消息以偏置学习过程。针对这一新设定，我们研究了一个通用的隐私保护且拜占庭鲁棒的去中心化随机梯度下降（SGD）框架，其中注入高斯噪声以保护隐私，并采用鲁棒聚合规则来抵御拜占庭攻击。我们分析了其学习误差和隐私保证，发现了去中心化学习中隐私保护与时变拜占庭鲁棒性之间的本质权衡——为保护隐私而添加的高斯噪声加剧了抵御拜占庭攻击所导致的学习误差。对于一类最先进的鲁棒聚合规则，我们给出了对其“混合能力”的统一分析。基于此分析，我们揭示了“混合能力”如何影响隐私保护与时变拜占庭鲁棒性之间的权衡。理论结果为通过合理设计鲁棒聚合规则实现有利权衡提供了指导。我们进行了数值实验并证实了理论发现。
引用
@article{arxiv.2308.14606,
title = {On the Tradeoff between Privacy Preservation and Byzantine-Robustness in Decentralized Learning},
author = {Haoxiang Ye and Heng Zhu and Qing Ling},
journal= {arXiv preprint arXiv:2308.14606},
year = {2024}
}