联邦自动微分
机器学习
2024-11-26 v2 分布式、并行与集群计算
符号计算
摘要
联邦学习(FL)是一种通用框架,用于在中心服务器协调下,跨按组划分的数据轴(异构客户端)进行学习并保护数据隐私。FL方法通常纯粹在本地(即完全在每个客户端,或完全在服务器)使用自动微分(AD)技术计算损失函数的梯度。我们提出了一种联邦自动微分(FAD)框架,其1)能够计算涉及客户端与服务器计算以及它们之间通信的函数的导数,2)以与现有联邦技术兼容的方式运行。换言之,FAD跨通信边界计算导数。我们类比传统AD表明,FAD可使用多种累积模式实现,这些模式引入了不同的计算-通信权衡与系统需求。进一步,我们证明广泛的联邦计算类在这些FAD模式下是封闭的,特别地意味着若原计算可使用隐私保护原语实现,则其导数可仅用这些相同原语计算。然后我们展示FAD如何用于创建动态学习算法自身组件的算法。特别地,我们表明FedAvg风格的算法可通过使用FAD自动调整服务器优化步长,或通过使用FAD学习跨客户端计算加权平均的加权方案,而展现出显著改进的性能。
引用
@article{arxiv.2301.07806,
title = {Federated Automatic Differentiation},
author = {Keith Rush and Zachary Charles and Zachary Garrett},
journal= {arXiv preprint arXiv:2301.07806},
year = {2024}
}
备注
39 pages, 13 figures. To appear in JMLR 25 (2024)