在学会优化中可证明地学会泛化
机器学习
2023-03-29 v2 机器学习
摘要
学会优化（L2O）已获得日益增长的关注，其通过数据驱动方法自动化优化器设计。然而，当前 L2O 方法常至少在两方面存在泛化性能不佳的问题：（i）将 L2O 学到的优化器应用于未见优化对象，就降低其损失函数值而言（优化器泛化，或“优化器的可泛化学习”）；（ii）由该优化器训练的优化对象（其自身作为一个机器学习模型）在未见数据上准确率的测试性能（优化对象泛化，或“学会泛化”）。尽管优化器泛化近期已有研究，优化对象泛化（或学会泛化）在 L2O 背景下尚未被严格研究，这正是本文的目标。我们首先从理论上建立局部熵与 Hessian 的隐式联系，从而统一二者在手工设计的泛化优化器中作为损失函数景观平坦性等价度量的作用。我们随后提出将这两个度量作为平坦性感知正则化项纳入 L2O 框架，以元训练优化器学会泛化，并从理论上证明此类泛化能力可在 L2O 元训练过程中被学会并转化为优化对象损失函数。大量实验在多个复杂 L2O 模型与多样优化对象上一致验证了我们所提方法的有效性，其泛化能力获得显著提升。我们的代码可见于：https://github.com/VITA-Group/Open-L2O/tree/main/Model_Free_L2O/L2O-Entropy。
引用
@article{arxiv.2302.11085,
title = {Learning to Generalize Provably in Learning to Optimize},
author = {Junjie Yang and Tianlong Chen and Mingkang Zhu and Fengxiang He and Dacheng Tao and Yingbin Liang and Zhangyang Wang},
journal= {arXiv preprint arXiv:2302.11085},
year = {2023}
}
备注
This paper is accepted in AISTATS 2023