MinimalRNN：迈向更具可解释性与可训练性的循环神经网络
机器学习
2018-06-21 v2 机器学习
摘要
我们提出 MinimalRNN，一种新颖的循环神经网络架构，以简化结构实现了与流行门控 RNN 相当的性能。它在 RNN 内采用最小更新，不仅带来高效的学习与测试，更重要的是更好的可解释性与可训练性。我们证明，通过采用更具限制性的更新规则，MinimalRNN 学习到解耦的 RNN 状态。我们进一步使用输入-输出雅可比矩阵考察不同 RNN 结构的学习动态，并表明 MinimalRNN 能够比现有 RNN 架构捕捉更长期的依赖关系。
引用
@article{arxiv.1711.06788,
title = {MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks},
author = {Minmin Chen},
journal= {arXiv preprint arXiv:1711.06788},
year = {2018}
}
备注
Presented at NIPS 2017 Symposium on Interpretable Machine Learning