打开黑箱：分析预训练语言模型在非语言任务中的注意力权重与隐藏状态
计算与语言
2023-06-22 v1 人工智能
机器学习
摘要
由于多数先进模型具有“黑箱”性质，研究深度学习语言模型一直是一个重要领域。随着基于 transformer 的预训练语言模型近期取得进展并日益融入日常生活，解决该问题变得更为迫切。为实现可解释 AI 模型，理解其所涉步骤并与人类思维过程比较至关重要。因此，在本文中，我们使用简单且易理解的非语言任务来探索这些模型的内部机制。具体而言，我们将预训练语言模型应用于具有层次结构的约束算术问题，以分析其注意力权重分数与隐藏状态。研究揭示了有前景的结果：模型以适度结构化的方式处理层次问题，类似于人类解题策略。此外，通过逐层检视注意力权重，我们发现一个非常规结论——第 10 层而非模型最后一层，是采用最少参数微调策略时解冻的最优层。我们以熵分析与词元嵌入相似度分析支撑这些发现。注意力分析使我们假设模型可泛化到 ListOps 数据集中更长序列，该结论随后在长于训练集的序列测试中得到确认。最后，通过利用一个模型预测井字棋胜者的简单任务，我们识别出注意力分析的局限，尤其是其无法捕捉二维模式。
引用
@article{arxiv.2306.12198,
title = {Opening the Black Box: Analyzing Attention Weights and Hidden States in Pre-trained Language Models for Non-language Tasks},
author = {Mohamad Ballout and Ulf Krumnack and Gunther Heidemann and Kai-Uwe Kühnberger},
journal= {arXiv preprint arXiv:2306.12198},
year = {2023}
}