基于矩阵分解的去中心化学习统一隐私保证
机器学习
2026-03-02 v2
摘要
去中心化学习（DL）通过在网络图中与邻居不断平均本地更新来实现协作训练，从而无需共享原始数据。这种设置因其可扩展性和能够保持数据本地化、由用户控制而日益流行。通常通过差分隐私（DP）实现的强隐私保证显示，DL 即使通过对等点通信扩散噪声也能放大隐私。然而，实际观察到的隐私-效用权衡往往比集中式训练差，这可能归因于当前 DL 差分隐私计账方法的局限。在本文中，我们表明，最近基于矩阵分解（MF）的集中式 DP 计账方法的最新进展也可用于 DL。通过对现有 MF 结果的推广，我们展示了如何将标准 DL 算法和常见信任模型统一建模。由此可得出现有 DP-DL 算法的更紧密隐私计账，并为开发新方法提供原则化途径。为证明方法可行性，我们引入了 MAFALDA-SGD，这是一种基于 gossip 的 DL 算法，具有用户水平相关噪声，可在合成数据和真实图上超越现有方法。
引用
@article{arxiv.2510.17480,
title = {Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization},
author = {Aurélien Bellet and Edwige Cyffers and Davide Frey and Romaric Gaudel and Dimitri Lerévérend and François Taïani},
journal= {arXiv preprint arXiv:2510.17480},
year = {2026}
}
备注
Accepted at ICLR 2026. 23 pages, 6 figures