梯度目标传播
机器学习
2018-11-02 v3
摘要
我们报告一种神经网络的学习规则，该规则通过估计每个神经元的目标值来计算其应为最小化给定代价函数贡献多少。通过理论分析，我们表明该学习规则包含反向传播、Hebbian 学习及附加项。我们还给出了一种权重初始化的通用技巧。我们的结果至少与反向传播所得结果一样好。神经网络在三个问题上进行了训练与测试：MNIST、MNIST-Fashion 和 CIFAR-10 数据集。相关代码可在 https://github.com/tiago939/target 获取。
引用
@article{arxiv.1810.09284,
title = {Gradient target propagation},
author = {Tiago de Souza Farias and Jonas Maziero},
journal= {arXiv preprint arXiv:1810.09284},
year = {2018}
}
备注
12 pages, 4 figures