SPARKLE：统一的单环原型-对偶框架用于去中心化双层优化

本文研究去中心化双层优化问题，其中多个代理人通过邻域通信协作解决嵌套优化结构的问题。目前大多数文献主要利用梯度跟踪来缓解数据异构性，未探索其他众所周知的异构性纠正技术，如 EXTRA 或 Exact Diffusion。此外，这些研究常为上层和下层问题采用相同的去中心化策略，忽略了在不同层次中利用不同机制的潜在优势。为此，本文提出了 SPARKLE，即统一的 Single-loop Primal-dual AlgoRithm frameworK for decentraLized bilEvel optimization（去中心化双层优化统一单环原型-对偶算法框架）。SPARKLE 具备灵活性，可将 various heterogeneity-correction strategies 纳入算法。此外，SPARKLE 允许为上层和下层问题采用不同策略。我们提出了 SPARKLE 的统一收敛分析，适用于其所有变体，实现了较现有去中心化双层算法的 state-of-the-art 收敛速率。我们的进一步结果表明，EXTRA 和 Exact Diffusion 更适合去中心化双层优化，采用混合策略在双层算法中比仅依赖梯度跟踪更有优势。