零阶优化下的模型演化：神经零阶核视角
机器学习
2026-03-24 v1
摘要
零阶 (ZO) 优化通过仅使用前向传播来估计梯度，从而消除反向传播的需求，实现了神经网络的内存高效训练。然而，梯度估计的随机性显著掩盖了训练动力学，与基于神经张量核 (NTK) 理论下一阶方法的行为 characterization 形成鲜明对比。为此，我们引入神经零阶核 (NZK) 以描述 ZO 更新下模型在函数空间的演化。对于线性模型，我们证明了预期 NZK 在训练期间保持不变，并显式依赖于随机扰动方向的一阶和二阶矩。这一不变性导致了在平方损失下模型演化的闭式表达式。我们进一步将分析扩展到线性化神经网络。将 ZO 更新解释为通过 NZK 的核梯度下降，为 potentially 加速收敛提供了新视角。广泛实验在合成数据集和真实世界数据集（包括 MNIST、CIFAR-10 和 Tiny ImageNet）验证了我们的理论结果，证明了使用单个共享随机向量即可实现加速。
引用
@article{arxiv.2603.21169,
title = {Model Evolution Under Zeroth-Order Optimization: A Neural Tangent Kernel Perspective},
author = {Chen Zhang and Yuxin Cheng and Chenchen Ding and Shuqi Wang and Jingreng Lei and Runsheng Yu and Yik-Chung WU and Ngai Wong},
journal= {arXiv preprint arXiv:2603.21169},
year = {2026}
}
备注
ICLR 2026 Workshop on Scientific Methods for Understanding Deep Learning (20 pages, 18 figures)