将陈旧梯度转化为稳定梯度：面向轻量级零阶优化的隐式景观平滑相干坐标下降法
机器学习
2026-05-29 v3 人工智能
摘要
零阶（ZO）优化对于无法进行反向传播的场景（如内存受限的端侧学习与黑盒优化）至关重要。然而，现有方法面临严峻的权衡：它们要么样本效率低下（如标准有限差分法），要么因随机估计而遭受高方差（如随机子空间方法）。在本工作中，我们提出了相干坐标下降法，这是一种确定性、高样本效率且具备预算感知的 ZO 优化器。在理论上，我们形式化了梯度相干性的概念，并证明 CoCD 等价于带有“热启动”的块循环坐标下降法（BCCD），有效地将历史（陈旧）梯度从负担转化为计算资产。该机制实现了每步 的查询复杂度，同时保持全局下降方向。此外，我们推导出的误差界揭示了一个反直觉的洞察：更大的有限差分步长可以通过减小有效平滑常数来对优化景观产生隐式平滑效应，从而提高收敛稳定性。在 MLP、CNN 和 ResNet 架构（参数量达 270k）上的实验表明，CoCD 在样本效率和收敛损失/精度方面显著优于 BCCD，并且相比随机 ZO 方法展现出更优的稳定性。我们的结果表明，确定性的、结构感知的更新为轻量级 ZO 优化提供了一种优于随机化的替代方案。
引用
@article{arxiv.2605.14373,
title = {Turning Stale Gradients into Stable Gradients: Coherent Coordinate Descent with Implicit Landscape Smoothing for Lightweight Zeroth-Order Optimization},
author = {Chen Liang and Xiatao Sun and Qian Wang and Daniel Rakita},
journal= {arXiv preprint arXiv:2605.14373},
year = {2026}
}
备注
Accepted to the 43rd International Conference on Machine Learning (ICML 2026); Project page: https://chen-dylan-liang.github.io/CoCD/