基于零空间梯度投影的遥传加速优化
机器学习
2025-02-18 v1
摘要
优化技术因模型复杂度和数据规模不断增大而变得越来越关键。特别是，遥传技术已成为一种有前景的方法，通过在损失不变水平集内导航，以识别具有优势几何属性的参数来加速梯度下降等基于梯度的方法。现有遥传算法主要在优化多层感知机 (MLP) 时显示出有效性，但其扩展到卷积神经网络 (CNN) 和 Transformer 等更高级的架构仍具有挑战。此外，这些方法往往带来显著的计算负担，限制了其在复杂架构中的适用性。为此，我们引入一种算法，将遥传目标函数的梯度投影到输入零空间，从而有效地保持遥传位于损失不变水平集内，同时降低计算成本。我们的方法易于从MLP推广到CNN、Transformer以及潜在的其他高级架构。我们在各种基准数据集和优化器上验证了该算法的有效性，证明其具有广泛的适用性。
引用
@article{arxiv.2502.11362,
title = {Teleportation With Null Space Gradient Projection for Optimization Acceleration},
author = {Zihao Wu and Juncheng Dong and Ahmed Aloui and Vahid Tarokh},
journal= {arXiv preprint arXiv:2502.11362},
year = {2025}
}