基于中间误差信号的深层卷积 CRNN 可扩展均衡传播
机器学习
2026-05-11 v2 新兴技术
摘要
均衡传播（Equilibrium Propagation, EP）是首次用于收敛型循环神经网络（CRNN）而提出的，受生物学启发的局部学习规则，其中的突触更新仅依赖于两个不同相位的神经元状态。EP 计算的梯度与通过时间反向传播（Backpropagation Through Time, BPTT）计算的梯度高度一致，同时显著降低了计算需求，因而被视为神经形态器件上训练的潜在候选方案。然而，既有研究受限于浅层结构，因为深层网络面临梯度消失问题，导致能量最小化和梯度计算中的收敛困难。为缓解深层 EP 网络的梯度消失问题，我们提出一种新型 EP 框架，引入层级学习信号以提供辅助监督，从而增强神经元动力学的收敛性。这项工作首次将知识蒸馏和局部误差信号集成到 EP 中，使能够训练显著更深的结构。我们的方法在 CIFAR-10 和 CIFAR-100 数据集上实现了最先进的性能，展示了在深层 VGG 结构上的可扩展性。这些结果标志着 EP 可扩展性的重大进展，表明中间学习信号可将 EP 的实际适用范围扩展到更深的网络结构。
引用
@article{arxiv.2508.15989,
title = {Scalable Equilibrium Propagation via Intermediate Error Signals for Deep Convolutional CRNNs},
author = {Jiaqi Lin and Malyaban Bal and Abhronil Sengupta},
journal= {arXiv preprint arXiv:2508.15989},
year = {2026}
}