权重对称性在反向传播中有多重要？
机器学习
2016-02-05 v4
摘要
梯度反向传播（BP）要求前馈与反馈连接对称——前向与后向传播须使用相同权重。这一“权重传输问题”（Grossberg 1987）被认为是质疑 BP 生物学合理性的主要原因之一。利用 15 个不同分类数据集，我们系统研究了 BP 在多大程度上真正依赖于权重对称性。在一项精神上与 Lillicrap 等人演示（Lillicrap et al. 2014）惊人相似但结果正交的研究中，我们的实验表明：(1) 反馈权重的幅度对性能无影响 (2) 反馈权重的符号确有影响——前馈与其对应反馈连接间符号越一致，性能越好 (3) 当反馈权重幅度随机且符号 100% 一致时，我们取得了与 SGD 相当甚至更优的性能。(4) 此类非对称 BP 工作需不可或缺的某些归一化/稳定化，即批归一化（BN）（Ioffe and Szegedy 2015）和/或“批曼哈顿”（BM）更新规则。
引用
@article{arxiv.1510.05067,
title = {How Important is Weight Symmetry in Backpropagation?},
author = {Qianli Liao and Joel Z. Leibo and Tomaso Poggio},
journal= {arXiv preprint arXiv:1510.05067},
year = {2016}
}