M-L2O：通过测试时快速自适应实现可泛化的学习优化
机器学习
2023-03-02 v1 机器学习
摘要
学习优化（L2O）已引起越来越多的关注，因为它通常通过“过拟合”特定任务类型而显著加速复杂任务的优化过程，从而相比解析优化器获得更优性能。一般而言，L2O通过从求解样本问题中学习来开发参数化优化方法（即“优化器”）。这种数据驱动的过程产生的L2O能够高效求解与训练中所见问题相似（即来自同一“任务分布”）的问题。然而，当新的测试问题与训练任务分布显著偏离时，此类学到的优化器往往表现不佳。本文研究这一开放挑战的潜在解决方案，通过元训练一个L2O优化器，使其仅通过少数几步即可对分布外任务执行快速的测试时自适应。我们从理论上刻画了L2O的泛化性，并进一步表明我们提出的框架（称为M-L2O）通过为优化器权重定位良好自适应的初始点，可证明地促进快速任务自适应。在LASSO和Quadratic等若干经典任务上的实证观察表明，M-L2O仅需 步自适应即可比原始L2O显著更快收敛，与我们的理论结果相呼应。代码见 https://github.com/VITA-Group/M-L2O。
引用
@article{arxiv.2303.00039,
title = {M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation},
author = {Junjie Yang and Xuxi Chen and Tianlong Chen and Zhangyang Wang and Yingbin Liang},
journal= {arXiv preprint arXiv:2303.00039},
year = {2023}
}
备注
This paper is accepted in ICLR 2023