单次联邦岭回归:通过充分统计量聚合实现精确恢复
机器学习
2026-01-14 v1 密码学与安全
摘要
联邦学习协议需要客户端与中央服务器进行多次同步,其收敛速率取决于学习率、数据异构性和客户端抽样。本文询问:分布式线性回归是否需要迭代式通信。我们表明不需要。我们将联邦岭回归表述为分布式均衡问题,其中每个客户端计算局部充分统计量——Gram 矩阵和矩向量——并仅传输一次。服务器通过单次矩阵逆求解全局解。我们证明实现了精确恢复:在客户端特征矩阵覆盖条件满足时,单次聚合即可得到集中式岭解,而非近似值。对于违反覆盖条件的异构分布,我们推导了基于聚合 Gram 矩阵谱性质的非渐近误差界。通信复杂度从迭代方法中的 降低到 ;对于高维情形,我们提出并实验验证了随机投影技术,将其降低到 (其中 )。我们建立了差分隐私保证,噪声仅在每个客户端注入一次,消除了多轮协议中因隐私组合导致的性能下降。我们进一步讨论了包括客户端掉线鲁棒性、联邦交叉验证用于超参数选择以及与梯度基方法的比较等实用考量。在合成异构回归上的全面实验表明,单次融合在准确率上与 FedAvg 相当,而通信量最高可减少 。该框架可用于核方法和随机特征模型,但不适用于通用非线性架构。
引用
@article{arxiv.2601.08216,
title = {One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation},
author = {Zahir Alsulaimawi},
journal= {arXiv preprint arXiv:2601.08216},
year = {2026}
}