论零阶优化中的自适应性
机器学习
2026-05-06 v1 最优化与控制
摘要
我们研究了自适应零阶（ZO）优化在大型语言模型（LLM）内存受限微调中的有效性。与先前的主张相反，我们表明诸如 ZO-Adam 等自适应 ZO 方法相比于经过良好调优的 ZO-SGD 并无收敛优势，同时却产生了显著的内存开销。我们的分析揭示，在高维情况下，ZO 梯度缺乏逐坐标的异质性，使得自适应机制在内存上效率低下。利用这一洞察，我们提出了 MEAZO，一种内存高效的自适应 ZO 优化器，它仅跟踪一个标量用于全局步长自适应。我们在标准假设下以理论收敛保证支持我们的方法。跨多个 LLM 家族和任务的实验表明，MEAZO 在达到 ZO-Adam 性能的同时具有 ZO-SGD 的内存占用。在合成二次问题和 LLM 微调上的进一步实验表明，MEAZO 对步长选择具有更强的鲁棒性，特别是在分组或块结构优化设置中。
引用
@article{arxiv.2605.03869,
title = {On Adaptivity in Zeroth-Order Optimization},
author = {Hassan Dbouk and Nidham Gazagnadou and Matthias Reisser and Christos Louizos},
journal= {arXiv preprint arXiv:2605.03869},
year = {2026}
}