RNNbow：通过循环神经网络中反向传播梯度可视化学习过程
机器学习
2019-07-30 v1 神经与进化计算
摘要
我们提出 RNNbow，一个用于可视化循环神经网络在反向传播训练期间梯度流动的交互式工具。RNNbow 是一个 Web 应用，它展示序列中某个元素邻域内循环神经网络（RNN）单元的相对梯度贡献。我们描述了通过时间反向传播（BPTT）的计算，该计算追踪逐项梯度，即序列中一个元素对序列先前元素的梯度贡献。通过可视化梯度而非激活值，RNNbow 提供了网络如何学习的洞察。我们用它来探索一个经过训练以生成 C 编程语言代码的 RNN 的学习过程。我们展示了它如何揭示梯度消失以及随着 RNN 在语料库中推进而演变的训练过程。
引用
@article{arxiv.1907.12545,
title = {RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks},
author = {Dylan Cashman and Genevieve Patterson and Abigail Mosca and Nathan Watts and Shannon Robinson and Remco Chang},
journal= {arXiv preprint arXiv:1907.12545},
year = {2019}
}