理解合成梯度与解耦神经接口
机器学习
2017-03-03 v1 神经与进化计算
摘要
在训练神经网络时，合成梯度（Synthetic Gradients, SG）的使用允许层或模块在无更新锁定（即无需等待真实误差梯度被反向传播）的情况下进行训练，从而产生解耦神经接口（Decoupled Neural Interfaces, DNIs）。这种能够异步且仅利用局部信息更新神经网络部分的能力在 Jaderberg 等人（2016）中被实证证明有效。然而，从功能、表征和学习动态的角度，鲜有展示 DNIs 和 SGs 带来了何种改变。在本文中，我们通过在前馈网络上使用合成梯度来研究 DNIs，以更好地理解其行为并阐明其对优化的影响。我们表明，SG 的引入不影响神经网络学习系统的表征能力，并证明了该学习系统在线性和深度线性模型上的收敛性。在实际问题上，我们研究了合成梯度估计器逼近真实损失的机制，以及令人惊讶地，这如何导致截然不同的逐层表征。最后，我们还揭示了使用合成梯度与其他误差近似技术的关系，并找到了用于讨论和比较的统一语言。
引用
@article{arxiv.1703.00522,
title = {Understanding Synthetic Gradients and Decoupled Neural Interfaces},
author = {Wojciech Marian Czarnecki and Grzegorz Świrszcz and Max Jaderberg and Simon Osindero and Oriol Vinyals and Koray Kavukcuoglu},
journal= {arXiv preprint arXiv:1703.00522},
year = {2017}
}