确保去中心化非凸优化中一致性与最优性：多次局部更新的MILE算法

大规模系统中去中心化优化的可扩展性依赖于高效通信。通过在两个通信轮次之间执行多次局部更新是减少通信开销的常见方式，如同联邦学习所示。然而，将这一策略扩展到完全去中心化环境面临根本性挑战。现有多次局部更新的去中心化算法仅在强凸情况下才能保证准确收敛，限制了其适用于机器学习中常见的非凸问题。此外，许多方法需要交换和存储辅助变量，如梯度跟踪向量或校正项，以确保在数据异构性下的收敛，造成高昂的通信和内存成本。在本文中，我们提出MILE算法，实现完全去中心化，在一般非凸情境下进行多次局部更新，既保证一致性又保证最优性。通过 novel periodic-system-based formulation and lifting-based analysis，我们获得局部更新跨状态演化的闭式表达式，这是此前未实现的理论进展。该闭式表征使我们首次在多次局部更新下确保去中心化非凸优化中的一致性与最优性，与先前仅确保平均状态最优性的结果形成鲜明对比。我们证明MILE在exact和stochastic梯度下均可实现 $O(1/T)$ 收敛速率，仅需单个变量在相互作用代理人对之间进行交换，最小化通信和内存成本。数值实验在基准数据集上证明了其有效性。