Tourbillon：一种物理上合理的神经架构
机器学习
2021-07-23 v3 人工智能
摘要
在物理神经系统中，反向传播面临诸多障碍，包括：对有标签数据的需求、对局部性学习原则的违背、对对称连接的需求以及模块性的缺乏。Tourbillon 是一种解决所有这些限制的新架构。其核心由一堆循环自编码器和一个输出层组成。循环自编码器通过再循环算法以自监督模式训练，顶层通过随机梯度下降以有监督模式训练，并可选择利用非对称连接将误差信息通过整个堆栈传播。尽管 Tourbillon 架构主要旨在解决物理约束，而非改进深度学习的当前工程应用，我们仍在包括 MNIST、Fashion MNIST 和 CIFAR10 在内的标准基准数据集上展示了其可行性。我们表明，Tourbillon 能达到与反向传播训练的模型相当的性能，并优于使用其他物理上合理算法（如反馈对齐）训练的模型。
引用
@article{arxiv.2107.06424,
title = {Tourbillon: a Physically Plausible Neural Architecture},
author = {Mohammadamin Tavakoli and Peter Sadowski and Pierre Baldi},
journal= {arXiv preprint arXiv:2107.06424},
year = {2021}
}