可视化与理解自然语言处理中的神经模型
计算与语言
2016-01-11 v2
摘要
尽管神经网络已成功应用于许多自然语言处理（NLP）任务，但由此产生的基于向量的模型很难解释。例如，尚不清楚它们如何实现组合性，即从词与短语的意义构建句子意义。本文受计算机视觉中类似工作的启发，描述了四种用于可视化 NLP 神经模型中组合性的策略。我们首先绘制单元值以可视化否定、强化和让步从句的组合性，使我们能够看到否定中著名的标记性不对称。随后我们引入三种简单直接的方法来可视化单元的显著性，即其对最终组合意义的贡献量：（1）梯度反向传播，（2）词元与平均词节点的方差，（3）测量信息流的 LSTM 风格门控。我们在情感分析上使用简单循环网络和 LSTM 测试了我们的方法。我们的通用方法可广泛应用于理解深度网络的组合性及其他语义属性，并也阐明了为何 LSTM 优于简单循环网络。
引用
@article{arxiv.1506.01066,
title = {Visualizing and Understanding Neural Models in NLP},
author = {Jiwei Li and Xinlei Chen and Eduard Hovy and Dan Jurafsky},
journal= {arXiv preprint arXiv:1506.01066},
year = {2016}
}