利用记忆签名理解循环神经网络状态
计算与语言
2018-02-13 v1
摘要
我们展示一种网络可视化技术，用于分析语言与声学模型中常用的LSTM/GRU内部的循环状态。解释端到端模型中的中间状态与网络激活仍是一项开放挑战。我们的方法使用户能准确理解字素序列模型中循环状态编码了多少以及何种历史信息。我们的流程训练多个解码器以预测先前的输入历史。汇编这些解码器的结果，用户可获得表征其记忆行为的循环核签名。我们展示了该方法在揭示循环分解核基上的信息散度、可视化n-gram语言模型与循环语言模型记忆间的字符级差异，以及提取基于字素的端到端ASR网络各层中所编码历史知识方面的有用性。
引用
@article{arxiv.1802.03816,
title = {Understanding Recurrent Neural State Using Memory Signatures},
author = {Skanda Koppula and Khe Chai Sim and Kean Chin},
journal= {arXiv preprint arXiv:1802.03816},
year = {2018}
}
备注
Accepted to 2018 IEEE International Conference on Acoustics, Speech and Signal Processing