黎曼双层优化：基于梯度聚合的算法
最优化与控制
2025-10-20 v1 数值分析
数值分析
摘要
双层优化（Bilevel Optimization, BLO）提供了一种原则性的框架用于分层决策，已在机器学习任务中广泛应用，如超参数优化和元学习。虽然现有的BLO方法大多在欧几里得空间中开发，但许多实际问题涉及结构约束。本文提出了一种称为黎曼双层优化（Riemannian Bilevel Optimization, RBLO）的算法， incorporates a bilevel descent aggregation（BDA）方案，以协调上下层更新。具体而言，首先我们将BLO中的约束抽象为流形结构，然后将受限BLO问题转化为无约束的RBLO问题。其次，为了解决现有RBLO方法的局限性，特别是收敛所需的严格假设，本文使用光滑流形映射重新构建双层问题，并在测地凸性和Lipschitz光滑性条件下提供收敛分析。最后，我们回顾了多视图超图谱聚类任务，并在3个数据集上评估了所提出的方法。数值结果验证了在欧几里得空间和流形基线方法上的优越性能。
引用
@article{arxiv.2510.15305,
title = {Riemannian Bilevel Optimization with Gradient Aggregation},
author = {Zhuo Chen and Xinjian Xu and Shihui Ying and Tieyong Zeng},
journal= {arXiv preprint arXiv:2510.15305},
year = {2025}
}
备注
Submitted to the Journal of Optimization Theory and Applications (JOTA), under review. 25 pages, 4 figures