在 Transformer 的知识归因中寻找模式

Jeevesh Juneja; Ritu Agarwal

在 Transformer 的知识归因中寻找模式

计算与语言 2022-05-05 v2 机器学习

作者: Jeevesh Juneja , Ritu Agarwal

摘要

我们分析了知识神经元框架，该框架用于将事实性与关系性知识归因到 transformer 网络中的特定神经元。我们在实验中使用一个 12 层多语言 BERT 模型。我们的研究揭示了多种有趣现象。我们观察到，事实性知识大多可归因到网络的中层与高层（ $\ge 6$ ）。进一步分析表明，中层（ $6-9$ ）主要负责关系信息，其在最后几层（ $10-12$ ）被进一步精炼为实际的事实性知识或“正确答案”。我们的实验还显示，模型以相似方式处理不同语言但表示同一事实的提示，为多语言预训练的有效性提供了进一步证据。将归因方案应用于语法知识时，我们发现语法知识在神经元中的分布远比事实性知识分散。

关键词

知识归因 Transformer 知识神经元多语言 BERT 事实性知识关系性知识语法知识

引用

@article{arxiv.2205.01366,
  title  = {Finding patterns in Knowledge Attribution for Transformers},
  author = {Jeevesh Juneja and Ritu Agarwal},
  journal= {arXiv preprint arXiv:2205.01366},
  year   = {2022}
}

备注

Remove unnecessary files; Correct Typos;

在 Transformer 的知识归因中寻找模式

摘要

关键词

引用

备注

相关论文