无调谐双层优化：新算法与收敛性分析

双层优化最近因其在机器学习问题中的丰富应用而引起广泛关注。然而，现有方法依赖对问题参数的先验知识来确定步长，当这些参数未知时，调谐步长的工作量很大。本文提出两种新型无调谐算法，D-TFBO和S-TFBO。D-TFBO采用双循环结构，步长通过“累积梯度范数之倒数”策略自适应调整。S-TFBO采用更简单的数据完全单循环结构，同时更新三个变量，并基于理论动机为所有变量设计自适应步长。我们为两种算法提供了全面的收敛性分析，表明D-TFBO和S-TFBO分别需要$O(\frac{1}{\epsilon})$和$O(\frac{1}{\epsilon}\log^4(\frac{1}{\epsilon}))$次迭代以找到一个$\epsilon$精确的平稳点，几乎与使用问题参数信息的经调谐算法相当。在各种问题上的实验表明，我们的方法在各种问题上的性能与现有经调谐方法相当，同时对初始步长选择更具鲁棒性。据我们所知，我们的方法是首次完全消除步长调谐需求，同时实现了理论保证。