ConMeZO：面向大语言模型无梯度微调的自适应下降方向采样
机器学习
2026-04-21 v2 最优化与控制
机器学习
摘要
零阶或无导数优化是一种极具吸引力的微调大语言模型（LLM）策略，因为它消除了反向传播的内存开销。然而，在十亿参数规模 LLM 的高维参数空间中搜索下降方向时，由于固有的维度灾难，其收敛速度缓慢。我们提出了 ConMeZO，一种通过自适应方向采样加速收敛的新型零阶优化器。ConMeZO 不再随机均匀抽取方向，而是将采样限制在以动量估计为中心的锥形区域内。这使得搜索集中在真实梯度更可能出现的方向上，从而降低了高维度的影响。我们证明了 ConMeZO 达到了与 MeZO 相同的最坏情况收敛速率。实验表明，在自然语言任务上微调 LLM 时，ConMeZO 比 MeZO 快达 2 倍，同时保留了零阶方法的低内存占用特性。
引用
@article{arxiv.2511.02757,
title = {ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models},
author = {Lejs Deen Behric and Liang Zhang and Bingcong Li and Kiran Koshy Thekumparampil},
journal= {arXiv preprint arXiv:2511.02757},
year = {2026}
}