中文

单次联邦岭回归:通过充分统计量聚合实现精确恢复

机器学习 2026-01-14 v1 密码学与安全

摘要

联邦学习协议需要客户端与中央服务器进行多次同步,其收敛速率取决于学习率、数据异构性和客户端抽样。本文询问:分布式线性回归是否需要迭代式通信。我们表明不需要。我们将联邦岭回归表述为分布式均衡问题,其中每个客户端计算局部充分统计量——Gram 矩阵和矩向量——并仅传输一次。服务器通过单次矩阵逆求解全局解。我们证明实现了精确恢复:在客户端特征矩阵覆盖条件满足时,单次聚合即可得到集中式岭解,而非近似值。对于违反覆盖条件的异构分布,我们推导了基于聚合 Gram 矩阵谱性质的非渐近误差界。通信复杂度从迭代方法中的 O(Rd)\mathcal{O}(Rd) 降低到 O(d2)\mathcal{O}(d^2);对于高维情形,我们提出并实验验证了随机投影技术,将其降低到 O(m2)\mathcal{O}(m^2)(其中 mdm \ll d)。我们建立了差分隐私保证,噪声仅在每个客户端注入一次,消除了多轮协议中因隐私组合导致的性能下降。我们进一步讨论了包括客户端掉线鲁棒性、联邦交叉验证用于超参数选择以及与梯度基方法的比较等实用考量。在合成异构回归上的全面实验表明,单次融合在准确率上与 FedAvg 相当,而通信量最高可减少 38×38\times。该框架可用于核方法和随机特征模型,但不适用于通用非线性架构。

关键词

引用

@article{arxiv.2601.08216,
  title  = {One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation},
  author = {Zahir Alsulaimawi},
  journal= {arXiv preprint arXiv:2601.08216},
  year   = {2026}
}