BERT中的非线性与交换性
计算与语言
2021-05-10 v4 人工智能
摘要
本文对Transformer架构，尤其是其最著名变体BERT，提供了新见解。首先，我们提出一种度量Transformer不同元素非线性程度的方法。接着，我们将研究聚焦于Transformer内部的前馈网络（FFN）——其包含2/3的模型参数且迄今未受充分关注。我们发现FFN是一种低效却重要的架构元素，无法在不损性能的前提下简单替换为注意力块。此外，我们研究了BERT中层间交互，表明尽管各层呈现一定层次结构，它们以模糊方式提取特征。我们的结果表明，BERT具有朝向层交换性的归纳偏置，并发现这主要源于跳跃连接。这为循环与权重共享Transformer模型的优异表现提供了依据。
引用
@article{arxiv.2101.04547,
title = {Of Non-Linearity and Commutativity in BERT},
author = {Sumu Zhao and Damian Pascual and Gino Brunner and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2101.04547},
year = {2021}
}
备注
Accepted at IJCNN 2021