联邦 dropout：收敛性分析与资源分配

联邦 dropout 是一种高效技术，用于克服在网络边缘部署联邦学习时的通信与计算瓶颈。在每一轮训练中，边缘设备只需更新和传输一个子模型，其由深度学习中常用方法 dropout 生成，从而有效降低单轮延迟。然而，关于联邦 dropout 的理论收敛分析在文献中仍存缺尤其是 dropout 率对收敛的定量影响。为此，我们采用泰勒展开方法，数学证明梯度方差随 dropout 率 $\gamma$ 而增加，比例因子为 $\gamma/(1-\gamma)$，其中 $\gamma\in[0,\theta)$ 表示 dropout 率，$\theta$ 为确保目标函数减小的最大 dropout 率。基于上述近似，我们对联邦 dropout 提供了收敛性分析。具体而言，证明每个设备的更高 dropout 率会导致收敛速率减慢。这为通过在单轮延迟与整体收敛轮数之间进行权衡，以降低收敛延迟提供了理论依据。此外，提出一种低复杂度算法，旨在在给定单轮延迟和有限网络资源的条件下，联合优化 dropout 率和带宽分配，以最小化所有轮次中的损失函数。最后，我们提供数值结果以验证所提算法的有效性。