用人类视觉注意力解释机器阅读理解中的注意力模型
计算与语言
2020-10-28 v2
摘要
尽管带有注意力机制的神经网络在许多自然语言处理任务上取得了优越性能，但所学注意力在多大程度上类似于人类视觉注意力仍不清楚。在本文中，我们提出一种利用眼动追踪数据来研究机器阅读理解中人类视觉注意力与神经注意力关系的新方法。为此，我们引入了一个新颖的 23 人眼动追踪数据集——MQA-RC，其中参与者阅读电影情节并回答预定义问题。我们比较了基于长短期记忆（LSTM）、卷积神经模型（CNN）和 XLNet Transformer 架构的先进网络。我们发现，与人类注意力更高的相似度及性能与 LSTM 和 CNN 模型显著相关。然而，我们表明这种关系对 XLNet 模型不成立——尽管 XLNet 在这一具有挑战性的任务上表现最佳。我们的结果表明，不同架构似乎学习了相当不同的神经注意力策略，且神经注意力与人类注意力的相似性并不能保证最佳性能。
引用
@article{arxiv.2010.06396,
title = {Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension},
author = {Ekta Sood and Simon Tannert and Diego Frassinelli and Andreas Bulling and Ngoc Thang Vu},
journal= {arXiv preprint arXiv:2010.06396},
year = {2020}
}
备注
CoNLL 2020