神经网络中潜在注意力的建模
人工智能
2018-01-03 v2
摘要
深度神经网络能够解决跨多种领域和数据模态的任务。尽管取得了许多经验上的成功，我们仍缺乏清晰理解和解释导致此类有效行为或更关键的失效模式的已学习内部机制的能力。在这项工作中，我们提出了一种通用方法，用于可视化任意神经网络的内部机制及其能力和局限性。我们以数据集为中心的方法生成了关于训练后的网络如何关注其输入成分的可视化结果。计算出的“注意力掩码”通过突出显示哪些输入属性对决定输出至关重要，从而支持改进的可解释性。我们在来自计算机视觉、自然语言处理和强化学习领域的多种深度神经网络架构上展示了我们框架的有效性。我们方法的主要贡献是一种可解释的注意力可视化，它提供了对网络底层决策过程的独特见解，而与数据模态无关。
引用
@article{arxiv.1706.00536,
title = {Modeling Latent Attention Within Neural Networks},
author = {Christopher Grimm and Dilip Arumugam and Siddharth Karamcheti and David Abel and Lawson L. S. Wong and Michael L. Littman},
journal= {arXiv preprint arXiv:1706.00536},
year = {2018}
}