幽灵单元在深度神经网络中实现生物学合理的反向传播
神经元与认知
2019-11-21 v1 机器学习
机器学习
摘要
过去几年，深度学习变革了人工智能研究，并在各种困难任务上取得令人印象深刻的性能。然而，大脑如何能像深度神经网络中反向传播那样高效地进行跨多区域的信用分配仍不清楚。本文引入一种模型，其依赖于一类称为幽灵单元（ghost units）的神经元抑制机制的新作用。通过在无目标信号提供给顶层时取消来自上层的反馈，幽灵单元使网络能够反向传播误差并在深层结构中高效信用分配。在考虑单房室神经元且仅需极少生物学假设的情况下，它能够近似误差梯度并在分类任务上取得良好性能。误差反向传播通过网络递归动力学以及生物学合理的局部学习规则实现。特别地，它不需要分离的的前馈和反馈回路。研究了多种取消反馈的机制，从长期过程对连接性的完全复制到反馈活动的在线复现。这一简化系统结合了在简单公式及相应结果证明下拥有可工作的反向传播生物学抽象类比的基本要素。因此，该模型是理解皮层多层结构中学习与记忆如何实现的一步，也为神经形态硬件提供了有趣前景。
引用
@article{arxiv.1911.08585,
title = {Ghost Units Yield Biologically Plausible Backprop in Deep Neural Networks},
author = {Thomas Mesnard and Gaetan Vignoud and Joao Sacramento and Walter Senn and Yoshua Bengio},
journal= {arXiv preprint arXiv:1911.08585},
year = {2019}
}