无参数的去中心化双层优化

去中心化双层优化因其在解决大规模机器学习问题中的关键作用而引起广泛关注。然而，现有方法通常依赖对问题参数（如光滑性、凸性或通信网络拓扑）的先验知识，以确定合适的步长。在实际应用中，这些问题参数通常不可获得，导致需要大量手动调参。本文提出 AdaSDBO（Adaptive Decentralized Bilevel Optimization），这是一种完全无参数的去中心化双层优化算法，具有单环结构。AdaSDBO 利用基于累计梯度范数的自适应步长，同时更新所有变量，动态调整其进度，无需问题特定的超参数调优。通过严格的理论分析，我们证明 AdaSDBO 的收敛率为 $\widetilde{\mathcal{O}}\left(\frac{1}{T}\right)，这与经过精心调参的领先方法在多对数因子的量级上相当。大量数值实验表明，AdaSDBO 在各种步长配置下都表现出卓越的鲁棒性，且性能与现有的去中心化双层优化方法相当。