面向去中心化双层优化的全一阶高效通信计算方法

双层优化对于超参数调调、元学习和强化学习至关重要，但在去中心化学习范式中（如去中心化联邦学习）得到的探索相对较少。典型的去中心化双层方法依赖梯度和Hessian矩阵来近似上级模型的超梯度。然而，获取和共享二阶信息计算和通信开销巨大。为克服这些挑战，本文引入了一种全一阶去中心化方法，用于去中心化双层优化，$\text{C}^2DFB$ 该方法既计算高效又通信高效。在$\text{C}^2DFB$中，每个学习节点优化一个min-min-max问题，通过仅使用梯度信息来近似超梯度。为了减少解决下级问题内部循环时的通信负载，$\text{C}^2DFB$ 集成了一个轻量级通信协议，用于高效传输本地参数的压缩残差。严格的理论分析确保了其收敛性，表明该算法的阶数oracle调用为 $\tilde{\mathcal{O}}(\epsilon^{-4})$。在超参数调优和超表示任务上的实验表明，$\text{C}^2DFB$ 在各种类型和异构数据分布下均优于现有方法。