基于内部激活节点选择性可视化的深度时序表征解释
机器学习
2020-07-13 v2 神经与进化计算
摘要
近来深度神经网络在许多时序或序列数据的分类与回归任务中展现出有竞争力的性能。然而,理解时序深度神经网络的分类机制仍十分困难。本文提出两种新框架以可视化从深度神经网络学到的时序表征。给定输入数据与输出,我们的算法通过提取高激活时段并可视化对单元激活有贡献的输入子序列,来解释时序神经网络的决策。此外,我们对这类子序列进行聚类刻画,并计算所建议类型与实际数据的不确定性。我们还提出从单元输出(而非最终输出)出发的逐层相关性,结合反向蒙特卡洛dropout,以展示各输入点对单元激活的相关性分数,并提供该影响不确定性的视觉表征。
引用
@article{arxiv.2004.12538,
title = {Interpretation of Deep Temporal Representations by Selective Visualization of Internally Activated Nodes},
author = {Sohee Cho and Ginkyeng Lee and Wonjoon Chang and Jaesik Choi},
journal= {arXiv preprint arXiv:2004.12538},
year = {2020}
}