注意力机制是否具备人类阅读的特征？基于情感分类任务的视角
计算与语言
2022-09-09 v1 人机交互
摘要
[目的] 为理解句子含义，人类可聚焦于句中重要词，这反映了我们的眼睛以不同的注视时间或次数停留在每个词上。因此，一些研究利用眼动追踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对该方法合理性的解释。注意力机制是否具备人类阅读的此特征有待探索。[设计/方法/途径] 我们在情感分类任务上进行了实验。首先，我们从两个开源眼动追踪语料库获取眼动追踪值以描述人类阅读特征。然后，从情感分类模型学习每个句子的机器注意力值。最后，进行比较以分析机器注意力值与眼动追踪值。[发现] 通过实验，我们发现注意力机制能聚焦于重要词，如形容词、副词和情感词，这些对判断句子情感具有价值（在情感分类任务上）。其具备人类阅读特征，即在阅读时聚焦于句中的重要词。由于注意力机制学习不足，一些词被错误聚焦。眼动追踪值可帮助注意力机制纠正此错误并提升模型性能。[原创性/价值] 我们的研究不仅为使用眼动追踪值优化注意力机制的研究提供了合理解释，也为注意力机制的可解释性提供了新启示。
引用
@article{arxiv.2209.03557,
title = {Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task},
author = {Lei Zhao and Yingyi Zhang and Chengzhi Zhang},
journal= {arXiv preprint arXiv:2209.03557},
year = {2022}
}