双层优化器是否会受益于循环
机器学习
2022-06-02 v3 最优化与控制
机器学习
摘要
双层优化已成为解决多种机器学习问题的有力工具。当前两种流行的双层优化器 AID-BiO 与 ITD-BiO 自然涉及求解一个或两个子问题，因此，我们是否以循环（多次迭代）或无循环（仅少数迭代）方式求解这些问题，会显著影响整体计算效率。文献中已有研究仅涵盖部分实现选择，且可用复杂度界不够精细，无法对不同实现进行严格比较。本文中，我们首先建立适用于 AID-BiO 与 ITD-BiO 所有循环实现选择的统一收敛分析。随后我们将结果具体化以刻画所有实现的计算复杂度，从而实现它们之间的显式比较。我们的结果表明：对 AID-BiO，估计内层函数最优点的循环有益于整体效率，尽管其导致每步更新复杂度更高，而近似外层 Hessian-逆-向量积的循环降低了梯度复杂度。对 ITD-BiO，两个循环始终共存，我们的收敛上下界显示此类循环对保证收敛误差消失是必要的，而无循环方案遭受不可避免的非消失收敛误差。我们的数值实验进一步佐证了理论结果。
引用
@article{arxiv.2205.14224,
title = {Will Bilevel Optimizers Benefit from Loops},
author = {Kaiyi Ji and Mingrui Liu and Yingbin Liang and Lei Ying},
journal= {arXiv preprint arXiv:2205.14224},
year = {2022}
}
备注
32 pages, 2 figures, 3 tables