可证明收敛的联邦三层学习

三层学习，又称三层优化（TLO），已被公认为层次决策过程的强大建模工具，并广泛应用于许多机器学习应用中，如鲁棒神经架构搜索、超参数优化和领域自适应。由于其嵌套的决策结构，解决 TLO 问题一直面临巨大挑战。此外，现有的 TLO 工作面临以下关键挑战：1）它们都集中在非分布式设置上，这可能导致隐私泄露；2）它们没有提供任何表征算法收敛速度的非渐近收敛分析。为了解决上述挑战，本文提出了一种异步联邦三层优化方法来解决 TLO 问题。所提方法利用 $\mu$-割为 TLO 问题构建超多面体近似，并以异步方式求解。我们证明所提 $\mu$-割不仅适用于凸函数，还适用于满足 $\mu$-弱凸假设的广泛非凸函数。此外，我们通过证明其获得 $\epsilon$-平稳点的迭代复杂度上界为 $\mathcal{O}(\frac{1}{\epsilon^2})$，从理论上分析了所提方法的非渐近收敛速率。在真实世界数据集上进行了大量实验，以阐明所提方法的优越性，例如，它具有更快的收敛速率，最大加速约 80$\%$。