正交权重修改提升学习可扩展性与收敛效率，无需反向传播
机器学习
2026-02-27 v1
摘要
鉴于反向传播（BP）的巨大计算成本，基于 perturbation 方法的非BP方法近年来成为在新兴神经形态系统上实现高效学习的吸引力选择。然而，现有的非BP方法在效率和可扩展性方面仍面临关键挑战。受大脑中神经表征和动态机制的启发，我们提出了一种称为LOCR（LOw-rank Cluster Orthogonal）的 perturbation-based 权重修改方法。我们发现，低秩是基于 perturbation 方法的算法的内在属性。在此条件下，正交约束限制了节点扰动（NP）梯度估计的方差，从而增强了收敛效率。通过在多个数据集上的广泛评估，LOCR展示出在深度时序神经网络（超过10层）方面的能力，同时表现出强大的持续学习能力、改进的收敛效率和更好的任务性能，优于其他大脑启发的非BP算法。更重要的是，LOCR仅需O(1)的并行时间复杂性进行权重更新，显著低于BP方法。这为在神经形态系统上实现高性能、实时和终身学习提供了可行路径。
引用
@article{arxiv.2602.22259,
title = {Orthogonal Weight Modification Enhances Learning Scalability and Convergence Efficiency without Gradient Backpropagation},
author = {Guoqing Ma and Shan Yu},
journal= {arXiv preprint arXiv:2602.22259},
year = {2026}
}