用于审计长短期记忆网络单元动态的响应表征
机器学习
2018-09-12 v1 人工智能
神经与进化计算
机器学习
摘要
本文提出一种解释循环神经网络（RNNs）特别是长短期记忆网络（LSTMs）在单元层面的新方法。我们提出一个系统性的流程，利用响应表征方法来解释网络内单个隐藏状态的动态。通过分析一组可解释的、关于其解耦阶跃与正弦响应的度量，计算出单个单元对网络输出的排序贡献。因此，我们的方法能够唯一地识别具有深刻动态的神经元，通过消融分析量化动态特性与测试精度之间的关系，并解释网络容量对网络动态分布的影响。最后，我们通过评估一系列不同的基准序列数据集，证明了我们方法的通用性与可扩展性。
引用
@article{arxiv.1809.03864,
title = {Response Characterization for Auditing Cell Dynamics in Long Short-term Memory Networks},
author = {Ramin M. Hasani and Alexander Amini and Mathias Lechner and Felix Naser and Radu Grosu and Daniela Rus},
journal= {arXiv preprint arXiv:1809.03864},
year = {2018}
}