通过对齐局部表征进行信用分配
机器学习
2018-07-16 v2 机器学习
摘要
使用反向传播及其变体训练深度网络对新用户而言常常存在问题。梯度爆炸、梯度消失以及对权重初始化策略高度敏感等问题往往使网络难以训练，尤其是当用户尝试新架构时。在此，我们提出局部表征对齐（LRA），一种对不良初始化敏感度低得多的训练过程，它不需要修改网络架构，并且可适用于具有高度非线性和离散值激活函数的网络。此外，我们展示了 LRA 的一个变体可以从网络权重的零初始化开始，仍能成功训练具有多种非线性的网络，包括 tanh、ReLU-6、softplus、signum 以及其他可能受生物学启发的函数。在 MNIST 和更难的 Fashion MNIST 数据集上的一组全面实验表明，LRA 可以稳健而有效地训练网络，即使在反向传播失败的情况下也能成功，并且优于其他替代学习算法，如目标传播和反馈对齐。
引用
@article{arxiv.1803.01834,
title = {Conducting Credit Assignment by Aligning Local Representations},
author = {Alexander G. Ororbia and Ankur Mali and Daniel Kifer and C. Lee Giles},
journal= {arXiv preprint arXiv:1803.01834},
year = {2018}
}
备注
Full document revision/overhaul, new results/analyses, new diagrams, addition of appendices