黎曼流形上双层优化的自适应算法
最优化与控制
2025-10-14 v3
摘要
现有的求解黎曼双层优化（RBO）问题的方法需要对问题的的一阶和二阶信息以及黎曼流形的曲率参数进行先验知识，以确定步长，这在这些参数未知或难以获得时提出了实际限制。本文引入了自适应黎曼超梯度下降（AdaRHD）算法，用于求解RBO问题。据我们所知，AdaRHD 是首个在RBO中融入完全自适应步长策略的方法，无需问题特定参数。我们证明了AdaRHD在寻找ε-stationary点方面达到O(1/ε)的迭代复杂度，从而与现有非自适应方法的复杂度一致。此外，我们演示了用迁移映射替代指数映射，仍可维持相同的复杂度界限。实验表明，AdaRHD 在实现与现有非自适应方法相当的性能方面表现出更大的鲁棒性。
引用
@article{arxiv.2504.06042,
title = {An Adaptive Algorithm for Bilevel Optimization on Riemannian Manifolds},
author = {Xu Shi and Rufeng Xiao and Rujun Jiang},
journal= {arXiv preprint arXiv:2504.06042},
year = {2025}
}
备注
Accepted by NeurIPS 2025