无权重传输的深度学习
机器学习
2020-01-13 v5 机器学习
摘要
当前深度学习算法可能无法在大脑中运行，因为它们依赖权重传输，即前馈路径神经元将其突触权重传递给反馈路径，这种方式在生物学上可能不可能实现。一种称为反馈对齐（feedback alignment）的算法通过使用随机反馈权重实现了无权重传输的深度学习，但它在困难视觉识别任务上表现不佳。在此我们描述两种机制——一种称为权重镜像（weight mirror）的神经电路，以及对Kolen和Pollack于1994年提出的算法的改进——二者均使反馈路径能够快速且准确地学习适当的突触权重，即使在大型网络中也是如此，且无需权重传输或复杂布线。在ImageNet视觉识别任务上的测试表明，这些机制优于反馈对齐和较新的符号对称（sign-symmetry）方法，并几乎匹配反向传播（backprop，深度学习的标准算法，其使用权重传输）。
引用
@article{arxiv.1904.05391,
title = {Deep Learning without Weight Transport},
author = {Mohamed Akrout and Collin Wilson and Peter C. Humphreys and Timothy Lillicrap and Douglas Tweed},
journal= {arXiv preprint arXiv:1904.05391},
year = {2020}
}
备注
Accepted for the Conference on Neural Information Processing Systems (NeurIPS) 2019