面向非凸下层及更一般情形的基于梯度的双层优化
机器学习
2021-10-29 v2
摘要
近年来，双层优化（Bi-Level Optimization, BLO）技术受到了学习与视觉界的广泛关注。复杂实际任务中的多种 BLO 模型本质上具有非凸下层结构（即缺乏下层凸性，简称 LLC）。然而，这一具有挑战性的 BLO 类别在高效求解策略和坚实理论保证方面均缺乏进展。在本工作中，我们提出一种新的算法框架，称为初始化辅助与悲观轨迹截断梯度法（Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method, IAPTT-GM），以部分解决上述问题。特别地，通过引入辅助量作为初始化来引导优化动态，并设计悲观轨迹截断操作，我们在无 LLC 假设下构造了原始 BLO 的可靠近似版本。我们的理论分析建立了 IAPTT-GM 返回的解向无 LLC 的原始 BLO 解的收敛性。作为额外收获，我们还从理论上证明了嵌入 Nesterov 加速动态的 IAPTT-GM 在 LLC 下的质量。实验结果证实了我们的算法在无 LLC 下的收敛性，以及在 LLC 下的理论发现。
引用
@article{arxiv.2110.00455,
title = {Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond},
author = {Risheng Liu and Yaohua Liu and Shangzhi Zeng and Jin Zhang},
journal= {arXiv preprint arXiv:2110.00455},
year = {2021}
}
备注
Accepted by NeurIPS 2021, 13 pages. Supplementary materials, 5 pages