基于指数倾斜的零阶最优性感知学习
机器学习
2025-10-21 v1 计算与语言
机器学习
摘要
经典的零阶优化方法通常针对原始函数的平滑版本进行优化，即在随机扰动模型参数下的期望目标。这可以解释为鼓励扰动集合中损失值在平均意义上较小。然而，流行的锋利感知最小化（SAM）目标通常侧重于邻域内最大的损失，以更有效地获得平坦的最小值。本文通过一种指数倾斜目标，将零阶优化（及其相应目标）与 SAM 方法显式地建立起来，提供了在平均损失与最大损失公式之间实现平滑过渡的机制。我们探索了解决以倾斜参数 参数化的软 SAM 目标的新型零阶算法。我们对倾斜 SAM 框架的锋利性概念进行了精确刻画。实际方面，我们的方法可作为梯度-free 且高效的 SAM 变体替代方案，在广泛的下游任务上（包括分类、多选问答和语言生成），实现了比 vanilla 零阶基线更好的泛化性能。
引用
@article{arxiv.2510.16157,
title = {Zeroth-Order Sharpness-Aware Learning with Exponential Tilting},
author = {Xuchen Gong and Tian Li},
journal= {arXiv preprint arXiv:2510.16157},
year = {2025}
}