利用合成梯度实现解耦神经接口
机器学习
2017-07-04 v2
摘要
训练有向神经网络通常需要将数据通过计算图前向传播，随后反向传播误差信号以产生权重更新。因此，网络的所有层（或更一般地，所有模块）都被锁定，即它们必须等待网络其余部分执行前向计算并反向传播误差后才能进行更新。本文通过引入对未来网络图计算的模型来解耦模块，从而打破这一约束。这些模型仅使用局部信息来预测所建模子图将产生的结果。我们特别关注对误差梯度的建模：通过使用建模得到的合成梯度代替真实的反向传播误差梯度，我们解耦了子图，并可以独立且异步地更新它们，即实现了去耦合的神经接口。我们展示了前馈模型的结果，其中每一层都异步训练；循环神经网络（RNN）的结果，其中预测自身未来梯度扩展了 RNN 可有效建模的时间范围；以及一个在不同时间尺度上运转的分层 RNN 系统的结果。最后，我们证明除了预测梯度外，同一框架还可用于预测输入，从而产生在前向和后向传播过程中均解耦的模型——这相当于多个独立网络协同学习，使得它们可以组合成一个单一的功能整体。
引用
@article{arxiv.1608.05343,
title = {Decoupled Neural Interfaces using Synthetic Gradients},
author = {Max Jaderberg and Wojciech Marian Czarnecki and Simon Osindero and Oriol Vinyals and Alex Graves and David Silver and Koray Kavukcuoglu},
journal= {arXiv preprint arXiv:1608.05343},
year = {2017}
}