一种用于半去中心化纵向联邦学习的多令牌坐标下降法

大多数联邦学习（FL）方法采用客户端-服务器架构，其中客户端仅与中心服务器通信。然而，该架构易出现服务器带宽瓶颈且存在单点故障。相比之下，在（完全）去中心化方法中，客户端直接相互通信，摒弃服务器并缓解这些问题。但是，随着客户端网络变大变稀疏，去中心化方法的收敛变慢，若网络断开甚至无法收敛。本工作填补客户端-服务器与去中心化架构间的空白，聚焦于纵向FL设置，即客户端持有相同样本的不同特征。我们提出多令牌坐标下降（MTCD），一种灵活的半去中心化纵向FL方法，可同时利用客户端-服务器与客户端-客户端链路。通过选取合适超参数，MTCD可将客户端-服务器与去中心化架构作为特例恢复。事实上，其去中心化实例本身即是一种具有独立意义的新颖方法。然而，通过控制对客户端-服务器链路的依赖程度，MTCD亦可探索从客户端-服务器到去中心化的一系列架构。我们证明，对于足够大的批大小，当令牌在客户端不相交子集上游走时，MTCD以 $\mathcal{O}(1/T)$ 速率收敛于非凸目标。为简洁刻画上述客户端-服务器架构缺陷，我们将使用客户端-服务器 versus 客户端-客户端链路的相对影响建模为其“代价”之比，该比值依赖于应用。这使我们能从分析与经验上证明，通过调节对服务器的依赖程度，MTCD的半去中心化实例可在一系列应用中优于客户端-服务器与去中心化方法。