用于学习全局与个性化模型的联邦块坐标下降方案

在联邦学习中，模型从用户保存在其边缘设备中的私有数据学习，通过在服务提供商“云”中聚合这些模型来获得全局模型。此类全局模型在例如改善客户体验方面具有巨大商业价值。本文关注最先进技术两个可能的改进方向。首先，我们考虑用户习惯之间的差异，提出一种基于二次惩罚的公式，用于高效学习允许个性化本地模型的全局模型。其次，我们通过利用分层结构建模不仅云与边缘设备之间而且云内部的通信，解决边缘设备上异构训练时间带来的延迟问题。具体地，我们设计了一种定制的基于块坐标下降的计算方案，并配有同步和异步云设置下的通信协议。我们刻画了该算法的理论收敛速率，并提供了一个经验上表现更好的变体。我们还证明，受多智能体一致性技术启发的异步协议，在边缘设备更新间歇时，相比同步设置具有大幅降低延迟的潜力。最后，实验结果不仅证实了理论，还表明与最先进技术相比，该系统在边缘设备上对个性化模型实现了更快的收敛。