学习正则化器:可正则化的学习优化器
机器学习
2025-10-13 v1 人工智能
摘要
学习优化器(Learned Optimizers, LOs)作为一种元学习方法,因其可参数化并可训练以实现高效优化而日益受到关注。传统的基于梯度的方法结合显式正则化技术(如锐度感知最小化(SAM)、梯度范数感知最小化(GAM)和间隙引导的锐度感知最小化(GSAM))以增强泛化与收敛。在本文中,我们探讨一个根本性问题:\textbf{正则化器能否被学习?}我们通过经验证明,LOs 可以被训练以学习并内化传统正则化技术的效果,而无需在目标函数上显式施加这些技术。我们通过在标准基准(包括 MNIST、FMNIST、CIFAR 以及 MLP、MLP-Relu、CNN 等神经网络)上的大量实验验证了这一点,比较了有无访问显式正则化器训练的 LOs。正则化 LOs 在测试准确率与泛化能力上始终优于其未正则化对应版本。此外,我们表明 LOs 通过内在地寻求与这些正则化器所针对的极小值相似的极小值,将这些正则化效果保留并迁移到新的优化任务中。我们的结果表明 LOs 能够内在地学习正则化属性,\textit{对显式优化问题损失正则化的传统必要性提出了挑战。
引用
@article{arxiv.2510.08968,
title = {Learning Regularizers: Learning Optimizers that can Regularize},
author = {Suraj Kumar Sahoo and Narayanan C Krishnan},
journal= {arXiv preprint arXiv:2510.08968},
year = {2025}
}