结构化自注意力权重在情感分析中编码语义

神经注意力，尤其是 Transformer 普及的自注意力，已成为最先进的自然语言处理（NLP）模型的主力。最近的研究表明 Transformer 中的自注意力编码了句法信息；在此，我们通过考虑情感分析任务，展示自注意力分数编码了语义。与基于梯度的特征归因方法不同，我们提出了一种简单有效的逐层注意力追踪（LAT）方法来分析结构化注意力权重。我们将该方法应用于在两个具有表面差异性但共享共同语义的任务上训练的 Transformer 模型——电影评论情感分析与生活故事叙述中的时间序列效价预测。在两项任务中，具有高聚合注意力权重的词富含情感语义，这一点由人类标注者标注的情感词典定量验证。我们的结果表明，结构化注意力权重在情感分析中编码了丰富的语义，并与人类对语义的解释相一致。