Attention Flows：分析与比较语言模型中的注意力机制

语言建模的进展催生了基于深度注意力的模型，这些模型在各类自然语言处理（NLP）问题上表现优异。这类语言模型的特点是在大型无标注文本语料上进行预训练，随后针对特定任务进行微调。尽管已有大量工作致力于理解预训练模型的注意力机制，但模型在针对目标 NLP 任务训练时其注意力机制如何变化仍知之甚少。本文提出一种用于理解基于注意力的语言模型中微调过程的可视化分析方法。我们的可视化工具 Attention Flows 旨在支持用户查询、追踪和比较基于 Transformer 的语言模型中层内、跨层以及注意力头之间的注意力。为帮助用户洞察分类决策如何做出，我们的设计以描绘最深层中基于分类的注意力以及先前层的注意力如何在输入词间流动为核心。Attention Flows 支持对单一模型的分析，以及通过预训练与微调模型间的异同进行视觉比较。我们使用 Attention Flows 研究多种句子理解任务中的注意力机制，并凸显注意力如何演化以应对解决这些任务的细微差别。