一种求解具有多个内层极小值的双层优化的原始-对偶方法
最优化与控制
2022-06-09 v2 机器学习
机器学习
摘要
双层优化已在超参数优化、神经架构搜索、元学习等现代机器学习问题中得到广泛应用。虽然具有唯一内层极小点的双层问题（例如内层函数强凸的情形）已被充分理解，但具有多个内层极小点的此类问题仍具挑战性且悬而未决。针对此类问题设计的现有算法仅适用于受限情形，且缺乏完整的收敛性保证。本文采用将双层优化重新表述为约束优化的方法，并通过原始-对偶双层优化（PDBO）算法求解该问题。PDBO不仅解决了多个内层极小值的挑战，还具有完全一阶效率的特点，无需像大多数现有基于梯度的双层算法那样涉及二阶Hessian和Jacobian计算。我们进一步刻画了PDBO的收敛速率，这是首个针对具有多个内层极小值的双层优化的非渐近收敛性保证。实验证明了所提方法的预期性能。
引用
@article{arxiv.2203.01123,
title = {A Primal-Dual Approach to Bilevel Optimization with Multiple Inner Minima},
author = {Daouda Sow and Kaiyi Ji and Ziwei Guan and Yingbin Liang},
journal= {arXiv preprint arXiv:2203.01123},
year = {2022}
}
备注
Submitted for publication