梯度调整增量目标传播在深度神经网络中实现有效信用分配
机器学习
2023-01-25 v3 人工智能
摘要
人工智能领域近期的许多进展得益于极其成功的误差反向传播（BP）算法，该算法高效地解决了人工神经网络中的信用分配问题。然而，由于 BP 在传播误差梯度时依赖非局部信息，其通常形式不太可能在生物神经网络中实现。鉴于生物神经网络具备高效学习能力，且 BP 训练模型的响应可与神经响应相关联，似乎有理由认为一种生物学上可行的 BP 近似构成了大脑中突触可塑性的基础。梯度调整增量目标传播（GAIT-prop，简称 GP）近来由 BP 直接导出，并已被证明能以更符合生物学合理性的方式成功训练网络。然而，迄今为止 GP 仅被证明适用于相对低维的问题，如手写数字识别。本工作解决了 GP 中的一些扩展性问题，并表明其能在更深网络中及在更具挑战性的 ImageNet 数据集上实现有效的多层信用分配。
引用
@article{arxiv.2102.11598,
title = {Gradient-adjusted Incremental Target Propagation Provides Effective Credit Assignment in Deep Neural Networks},
author = {Sander Dalm and Nasir Ahmad and Luca Ambrogioni and Marcel van Gerven},
journal= {arXiv preprint arXiv:2102.11598},
year = {2023}
}