异步分布式双层优化

双层优化在许多机器学习任务中起着至关重要的作用，从超参数优化到元学习。然而，现有关于双层优化的研究要么聚焦于集中式设置，要么聚焦于同步分布式设置。集中式双层优化方法需要将海量数据收集到单一服务器，这不可避免地带来显著的通信开销，并可能引发数据隐私风险。另一方面，同步分布式双层优化算法常常面临掉队者问题，且若少数工作节点未能响应便会立即停止工作。作为应对，我们提出异步分布式双层优化（ADBO）算法。所提出的 ADBO 能够处理具有非凸上层与下层目标函数的双层优化问题，且其收敛性在理论上有保证。此外，理论分析揭示 ADBO 获得 $\epsilon$-平稳点的迭代复杂度上界为 $\mathcal{O}(\frac{1}{{{\epsilon ^2}}})$。我们在公开数据集上进行了详尽的实证研究，以阐明所提出 ADBO 的有效性与高效性。