AGZO：基于激活引导的零阶优化用于LLM微调

零阶（ZO）优化已成为在严格内存约束下微调大语言模型（LLM）的有前景方案，因其无需存储反向传播所需的激活即可实现。然而，现有ZO方法通常采用各向同性扰动，忽视了在前向传递期间可获得的丰富结构信息。在本文中，我们识别到梯度形成与激活结构之间的关键联系：线性图层的梯度局限于由其输入激活张成的子空间。基于此洞察，我们提出激活引导的零阶优化（AGZO）。不同于先前方法，AGZO在前向传递期间提取紧凑的、激活导向的子空间，并将扰动限制在该低秩子空间内。我们提供了理论框架，表明AGZO优化的是子空间平滑目标，并可证明其更新方向与真实梯度的余弦相似性显著高于各向同性基线方法。经验上，我们在Qwen3和Pangu模型上进行了多项基准测试。AGZO在所有零阶SOTA基线方法上均表现出色，显著缩小了与一阶微调之间的性能差距，同时几乎保持与其他ZO方法相同的峰值内存占用。