FeDXL：面向深度 X-Risk 优化的可证明联邦学习

在本文中，我们解决了一个新颖的联邦学习（FL）问题，即优化一类 X 风险（X-risks），现有 FL 算法均不适用于此类问题。具体而言，该目标函数的形式为 $\mathbb E_{z\sim S_1} f(\mathbb E_{z'\sim S_2} \ell(w; z, z'))$，其中两组数据 $S_1, S_2$ 分布在多台机器上，$\ell(\cdot)$ 是仅依赖于输入数据对 $(z, z')$ 的预测输出的成对损失，而 $f(\cdot)$ 可能是非线性非凸函数。该问题在机器学习中有重要应用，例如使用成对损失进行 AUROC 最大化，以及使用复合损失进行部分 AUROC 最大化。为 X 风险设计 FL 算法的挑战在于目标函数在多台机器上的不可分解性以及不同机器之间的相互依赖性。为此，我们提出了一种主动-被动分解框架，将梯度的分量解耦为两类，即主动部分和被动部分，其中主动部分依赖于使用本地模型计算的本地数据，而被动部分依赖于其他机器，基于历史模型和样本进行通信/计算。在此框架下，基于联邦平均与合并，我们开发了两种可证明的 FL 算法（FeDXL），分别用于处理线性和非线性 $f$。我们开发了一种新颖的理论分析，以克服被动部分的延迟以及本地模型参数与计算本地梯度估计量所涉数据之间的相互依赖性。我们建立了迭代复杂度和通信复杂度，并表明使用历史样本和模型计算被动部分不会降低复杂度。我们对深度 AUROC 和部分 AUROC 最大化进行了 FeDXL 的实证研究，并展示了其相较于几个基线的性能。