用于通信高效且隐私保护的分布式学习的分层随机量化
分布式、并行与集群计算
2023-12-13 v1
摘要
下一代无线网络，如边缘智能和无线分布式学习，面临两个关键挑战：通信效率和隐私保护。在这项工作中，我们重点关注在分布式学习框架中解决这些问题。我们考虑了一种新方法，通过利用量化提供的隐私优势，同时实现通信效率和隐私保护。具体而言，我们使用一种称为高斯分层随机量化（Gau-LRQ）的量化方案，该方案使用分层多平移耦合器压缩原始模型梯度。通过调整 Gau-LRQ 的参数，我们使量化误差遵循预期的 Gaussian 分布，从而确保客户端级差分隐私（CLDP）。我们在分布式随机梯度下降（SGD）框架中展示了所提出的 Gau-LRQ 的有效性，并在理论上量化了通信、隐私和收敛性能之间的权衡。我们通过启用动态隐私预算和量化比特分配进一步提高了收敛性能。我们通过使用一个在隐私预算约束下最小化收敛误差的优化公式来实现这一点。我们在多个数据集上评估了我们的方法，包括 MNIST、CIFAR-10 和 CIFAR-100，并表明在多种隐私约束下，我们提出的方法在学习性能方面优于基线方法。此外，我们观察到，与固定方案相比，动态隐私分配为模型带来了额外的准确性提升。
引用
@article{arxiv.2312.07060,
title = {Layered Randomized Quantization for Communication-Efficient and Privacy-Preserving Distributed Learning},
author = {Guangfeng Yan and Tan Li and Tian Lan and Kui Wu and Linqi Song},
journal= {arXiv preprint arXiv:2312.07060},
year = {2023}
}