基于 Moreau 包络的元学习一阶算法收敛性
最优化与控制
2023-01-18 v1 机器学习
摘要
在这项工作中，我们考虑了最小化给定函数的 Moreau 包络之和的问题，该问题此前已出现在元学习和个性化联邦学习的背景下。与要求子求解器运行至达到特定精度的现有理论不同，我们仅假设每次迭代执行有限次梯度步数。作为一个特例，我们的理论允许我们证明 First-Order Model-Agnostic Meta-Learning (FO-MAML) 收敛到 Moreau 目标解的邻域。我们还研究了一个更一般的一阶算法族，可视为 FO-MAML 的推广。我们的主要理论成果是对非精确 SGD 框架的理论改进。具体而言，我们的扰动迭代分析允许更紧的保证，改善了关于问题条件数的依赖。与元学习的相关工作相比，我们的工作不需要对 Hessian 平滑性作任何假设，并且能够利用基于 Moreau 包络重构的平滑性和凸性。此外，为了填补 FO-MAML 与 Implicit MAML (iMAML) 比较中的空白，我们证明了 iMAML 的目标既非平滑也非凸，这意味着基于现有理论它没有收敛保证。
引用
@article{arxiv.2301.06806,
title = {Convergence of First-Order Algorithms for Meta-Learning with Moreau Envelopes},
author = {Konstantin Mishchenko and Slavomír Hanzely and Peter Richtárik},
journal= {arXiv preprint arXiv:2301.06806},
year = {2023}
}