LISA：通过逐层语义累积与样例到模式转换解释循环神经网络判断
计算与语言
2018-08-07 v1 人工智能
信息检索
机器学习
摘要
循环神经网络（RNNs）是时间性的且本质上具有累积性的网络，已在各种自然语言处理任务中展现出有前景的结果。尽管取得了成功，理解其隐藏行为仍是一项挑战。在这项工作中，我们通过提出的一种名为逐层语义累积（Layer-wIse-Semantic-Accumulation, LISA）的技术来分析和解释RNN的累积性质，以解释决策并检测网络在决策时所依赖的最可能（即显著性）模式。我们展示了（1）LISA：“对于给定的文本样例和期望响应，RNN在其顺序处理过程中如何累积或构建语义”；（2）Example2pattern：“根据网络在决策中的数据，每一类的显著性模式看起来如何”。我们分析了RNN对不同输入的敏感性，以检查预测分数的增减，并进一步提取网络学习到的显著性模式。我们采用两个关系分类数据集：SemEval 10 Task 8和TAC KBP Slot Filling，通过LISA和example2pattern解释RNN预测。
引用
@article{arxiv.1808.01591,
title = {LISA: Explaining Recurrent Neural Network Judgments via Layer-wIse Semantic Accumulation and Example to Pattern Transformation},
author = {Pankaj Gupta and Hinrich Schütze},
journal= {arXiv preprint arXiv:1808.01591},
year = {2018}
}
备注
2018 Conference on Empirical Methods in Natural Language Processing (EMNLP2018) workshop on Analyzing and Interpreting Neural Networks for NLP (BlackBoxNLP)