具有均衡传播的树突神经网络
机器学习
2026-05-12 v1
摘要
均衡传播(EP)是反向传播(BP)的一种生物合理替代方案，但其在更深层和更具挑战性的学习环境中的有效性可能会下降。与此同时，树突神经网络在使用BP训练时表现出改进的性能和泛化能力，这表明结构化、受生物启发的架构可以增强学习。在这项工作中，我们使用一个先进的EP框架，研究了树突神经网络与均衡传播的集成。我们在MNIST、Kuzushiji-MNIST (KMNIST)和Fashion-MNIST (FMNIST)上评估了所提出的树突EP模型，考虑了浅层和更深层的架构。我们的结果表明，在简单任务上，树突EP实现了与标准EP相当的性能，同时在更具挑战性的数据集和更深层模型上提供了一致的改进。特别是，树突EP在KMNIST和FMNIST上显著优于标准EP，并接近使用时间反向传播训练的树突网络的性能。为了进一步理解这些改进，我们分析了自由阶段隐藏状态的演化。我们观察到，与标准EP相比，树突EP表现出更高的激活幅度和更分散的隐藏状态活动，表明树突结构改变了内部网络动力学。这些发现表明，结合树突结构可以增强生物合理学习算法的有效性，尤其是在标准EP表现不佳的情况下。我们的工作强调了架构设计对于改进受生物启发的训练方法的重要性。
引用
@article{arxiv.2605.08135,
title = {Dendritic Neural Networks with Equilibrium Propagation},
author = {Yoshimasa Kubo},
journal= {arXiv preprint arXiv:2605.08135},
year = {2026}
}
备注
8 pages