机器中的学习：深度学习通道的对称性
神经与进化计算
2017-12-25 v1 机器学习
摘要
在物理神经系统中，学习规则必须在空间和时间上均为局部的。为使学习发生，非局部信息必须通过通信通道（深度学习通道）传达至深层突触。我们确定该学习通道的几种可能架构（双向、联结、孪生、独立）以及六个对称性挑战：1）架构对称性；2）权重对称性；3）神经元对称性；4）导数对称性；5）处理对称性；6）学习规则对称性。随机反向传播（RBP）解决第二与第三对称性，其某些变体如跳跃 RBP（SRBP）解决第一与第四对称性。此处我们处理后两个理想对称性，通过仿真表明它们可被实现，且学习通道对对称性变化特别鲁棒。具体而言，随机反向传播及其变体可使用主输入输出前向通道中相同的非线性神经元执行，且学习通道中的连接可使用前向通道中相同的算法适应，从而消除对学习通道中任何专用硬件的需求。最后，我们在简单情形下提供数学结果，表明前向与后向通道中的学习方程对几乎任意初始条件收敛至不动点。在对称架构中，若两通道权重在初始化时均小，则两通道中的适应导致学习期间及之后权重基本对称。文中讨论了生物学联系。
引用
@article{arxiv.1712.08608,
title = {Learning in the Machine: the Symmetries of the Deep Learning Channel},
author = {Pierre Baldi and Peter Sadowski and Zhiqin Lu},
journal= {arXiv preprint arXiv:1712.08608},
year = {2017}
}