分层反向传播：人类神经元启发的人工神经网络扩展
最优化与控制
2025-01-31 v1
摘要
人工神经网络的神经元最初是在当时对生物神经元了解较少时发明的。我们的工作探索了修改神经元核心单元以使其更贴近生物神经元的修改方法。该修改基于生物树突并非简单被动的激活滤波器，而是作为传递激活信号到细胞体的同时也计算复杂的非线性函数。该论文探讨了一种名为"分层"的反向传播系统，使深度神经网络的人工神经元能够实现更好的性能编码，即它们在原始架构中编码相同特征的性能。经过初始网络训练阶段后，在网络中添加额外的"树突节点"，并用不同的目标函数分别进行训练，以其输出与原始神经元剩余误差相关。训练好的树突节点随后被冻结，原始神经元现在考虑由树突节点提供的额外误差信号进行进一步训练。可以重复进行训练原始神经元，然后添加和训练树突节点的循环，直到实现满意的性能。我们的算法成功地被添加到现代SOTA PyTorch 网络中，涵盖多个领域，在保持原始准确率的同时实现了显著的模型压缩。
引用
@article{arxiv.2501.18017,
title = {Learning Prosumer Behavior in Energy Communities: Integrating Bilevel Programming and Online Learning},
author = {Bennevis Crowley and Jalal Kazempour and Lesia Mitridati and Mahnoosh Alizadeh},
journal= {arXiv preprint arXiv:2501.18017},
year = {2025}
}