理解循环神经网络的隐藏记忆
计算与语言
2017-10-31 v1 人工智能
摘要
循环神经网络（RNNs）已成功应用于各种自然语言处理（NLP）任务，并取得了优于传统方法的结果。然而，对其有效性背后机制理解的缺乏限制了对架构的进一步改进。在本文中，我们提出了一种用于理解和比较面向 NLP 任务的 RNN 模型的可视化分析方法。我们提出了一种基于隐藏状态单元对输入文本的期望响应来解释单个隐藏状态单元功能的技术。然后我们根据期望响应共同聚类隐藏状态单元和词，并将共聚类结果可视化为记忆芯片和词云，以提供更结构化的关于 RNN 隐藏状态的知识。我们还提出了一种基于聚合信息的字形级序列可视化，以在句子层面分析 RNN 隐藏状态的行为。我们方法的有用性和有效性通过案例研究和领域专家的评审得到了证明。
引用
@article{arxiv.1710.10777,
title = {Understanding Hidden Memories of Recurrent Neural Networks},
author = {Yao Ming and Shaozu Cao and Ruixiang Zhang and Zhen Li and Yuanzhe Chen and Yangqiu Song and Huamin Qu},
journal= {arXiv preprint arXiv:1710.10777},
year = {2017}
}
备注
Published at IEEE Conference on Visual Analytics Science and Technology (IEEE VAST 2017)