轻松精炼自适应零阶优化
机器学习
2025-06-10 v2 人工智能
摘要
近来，零阶（Zeroth-Order, ZO）优化在梯度信息不可获取或代价高昂的场景中扮演着关键角色，例如黑箱系统和资源受限环境。尽管现有的自适应方法如 ZO-AdaMM 已显示出潜力，但它们从根本上受到优化过程中矩信息利用不足的限制，通常导致收敛性能不佳。为了克服这些局限性，本文引入了精炼自适应零阶优化（Refined Adaptive Zeroth-Order Optimization, R-AdaZO）。具体来说，我们首先展示了一阶矩估计对 ZO 梯度估计的未开发的方差缩减效应，这提高了 ZO 更新的准确性和稳定性。然后，我们基于这些方差缩减后的梯度估计来精炼二阶矩估计，以更好地捕捉优化地形的几何结构，从而实现更有效的 ZO 更新缩放。我们提供了严格的理论分析，以展示：(a) 对 ZO 优化中一阶矩估计方差缩减的首次分析，(b) 通过更精确地逼近其无方差理想值而改进的二阶矩估计，(c) 首个针对自适应 ZO 方法的方差感知收敛框架，这可能具有独立的研究意义，以及 (d) R-AdaZO 比现有基线（如 ZO-AdaMM）更快的收敛速度。我们广泛的实验，包括合成问题、黑箱对抗攻击以及大型语言模型（LLMs）的内存高效微调，进一步验证了 R-AdaZO 的优越收敛性，表明 R-AdaZO 为现实世界的 ZO 优化挑战提供了一种改进的解决方案。
引用
@article{arxiv.2502.01014,
title = {Refining Adaptive Zeroth-Order Optimization at Ease},
author = {Yao Shu and Qixin Zhang and Kun He and Zhongxiang Dai},
journal= {arXiv preprint arXiv:2502.01014},
year = {2025}
}
备注
Published as a conference paper at ICML 2025