跨 NLP 任务的注意力可解释性
计算与语言
2019-09-26 v1 机器学习
摘要
神经网络模型中的注意力层为其预测背后的推理提供了洞察,但这些洞察常因不透明而受批评。近来,关于注意力权重可解释性出现了看似矛盾的观点(Jain & Wallace, 2019;Vig & Belinkov, 2019)。在此困惑之中,亟需更系统地理解注意力机制。本工作中,我们试图填补此空白,给出一种全面解释,对两类观测(即注意力何时可解释、何时不可解释)均予以佐证。通过在多种 NLP 任务上的一系列实验,我们验证了观测结果,并通过人工评估强化了关于注意力可解释性的主张。
引用
@article{arxiv.1909.11218,
title = {Attention Interpretability Across NLP Tasks},
author = {Shikhar Vashishth and Shyam Upadhyay and Gaurav Singh Tomar and Manaal Faruqui},
journal= {arXiv preprint arXiv:1909.11218},
year = {2019}
}