目标传播的理论框架
机器学习
2020-12-17 v4 机器学习
摘要
深度学习的成功，一种受大脑启发的人工智能形式，引发了人们对大脑如何类似地跨多层神经元学习的兴趣。然而，大多数生物学上合理的学习算法尚未达到反向传播（BP）的性能，也未建立在坚实的理论基础之上。在此，我们从数学优化的角度分析目标传播（TP）——一种流行但尚未被充分理解的BP替代方案。我们的理论表明，TP与高斯-牛顿优化密切相关，因而与BP有实质性不同。此外，我们的分析揭示了差异目标传播（DTP）——TP的一个知名变体——在非可逆神经网络这一现实场景中的根本局限。我们通过一种新颖的重构损失首次解决了该问题，其改进了反馈权重训练，同时通过允许从输出到各隐藏层的直接反馈连接同时引入了架构灵活性。我们的理论得到实验结果的支持，显示与DTP相比，性能和前向权重更新与损失梯度的对齐均有显著提升。
引用
@article{arxiv.2006.14331,
title = {A Theoretical Framework for Target Propagation},
author = {Alexander Meulemans and Francesco S. Carzaniga and Johan A. K. Suykens and João Sacramento and Benjamin F. Grewe},
journal= {arXiv preprint arXiv:2006.14331},
year = {2020}
}
备注
13 pages and 4 figures in main manuscript; 41 pages and 8 figures in supplementary material