SAL：基于选择性自适应学习的反向传播免训练方法
机器学习
2026-01-30 v1 人工智能
摘要
标准深度学习依赖反向传播 (BP)，其受限于生物学上不合理的权重对称性，并在稠密表示中存在显著的梯度干扰。为缓解这些瓶颈，我们提出选择性自适应学习 (SAL)，一种结合选择性参数激活与自适应区域划分的训练方法。具体而言，SAL 将参数空间分解为互不重叠的、样本依赖的区域。这种解耦缓解了不同语义模式之间的梯度干扰，并通过我们改进的反馈对齐方式消除了显式的权重对称性要求。实验表明，SAL 在 10 个标准基准任务上展现出竞争的收敛速度，实现了 improved 的分类性能。此外，SAL 在深层网络（最高达 128 层）和大规模模型（最高达 10 亿参数）下仍保持数值一致性和竞争的准确率。我们的做法受生物学学习机制启发，提供了一种可能的替代方案，为可扩展神经网络训练研究作出了贡献。
引用
@article{arxiv.2601.21561,
title = {SAL: Selective Adaptive Learning for Backpropagation-Free Training with Sparsification},
author = {Fanping Liu and Hua Yang and Jiasi Zou},
journal= {arXiv preprint arXiv:2601.21561},
year = {2026}
}