中文

FedMPDD:基于投影方向导数的数高效隐私保护联邦学习

机器学习 2025-12-25 v1

摘要

本文提出了FedMPDD(Federeated Learning via Multi-Projected Directional Derivatives),一种同时优化带宽利用率并提升隐私性的新型算法。FedMPDD的核心思想是通过计算沿多个随机向量的方向导数来编码每个客户端的高维梯度。该方法将梯度压缩为更小的消息,显著将上行通信成本从O(d)\mathcal{O}(d)降低到O(m)\mathcal{O}(m),其中mdm \ll d。服务器随后通过在相同的随机向量上进行投影来解码聚合信息。我们的关键洞察在于,多个投影的平均化克服了单一投影的维度依赖收敛限制。我们提供了严格的理论分析,证明FedMPDD以O(1/K)\mathcal{O}(1/\sqrt{K})的收敛率,与FedSGD的性能相当。此外,我们展示了该方法由于低秩投影的几何性质,能够提供一定的对抗梯度逆转攻击的内在隐私,实现可调的隐私-效用权衡。广泛的基准数据集实验验证了我们的理论并证明了我们的成果。

关键词

引用

@article{arxiv.2512.20814,
  title  = {FedMPDD: Communication-Efficient Federated Learning with Privacy Preservation Attributes via Projected Directional Derivative},
  author = {Mohammadreza Rostami and Solmaz S. Kia},
  journal= {arXiv preprint arXiv:2512.20814},
  year   = {2025}
}