局部学习能否匹配自监督反向传播？
机器学习
2026-01-30 v1
摘要
虽然以反向传播（global BP-SSL）实现的端到端自监督学习已成为训练现代 AI 系统的核心方法，但关于局部自监督学习（local-SSL）的理论努力仍未在深层神经网络中构建出功能性表征。为建立全局与局部规则之间的联系，我们首先发展了深层线性网络的理论：我们识别了局部-SSL 算法（如 Forward-forward 或 CLAPP）实现完全相同权重更新的条件。基于理论见解，我们随后开发了新型的局部-SSL 算法变体，以在深层非线性卷积神经网络中近似全局 BP-SSL。那些改进局部-SSL 与全局 BP-SSL 梯度更新相似性的变体在 CIFAR-10、STL-10 和 Tiny ImageNet 等图像数据集上显示出更好的性能。表现最佳的局部-SSL 规则（以 CLAPP 损失函数为基础）可匹配相当于使用 InfoNCE 或 CPC 类损失函数的全局 BP-SSL 性能，并在这些基准上超越了局部 SSL 的最新水平。
引用
@article{arxiv.2601.21683,
title = {Can Local Learning Match Self-Supervised Backpropagation?},
author = {Wu S. Zihan and Ariane Delrocq and Wulfram Gerstner and Guillaume Bellec},
journal= {arXiv preprint arXiv:2601.21683},
year = {2026}
}