专注不分：BERT 的中间层是否必要？
计算与语言
2023-04-06 v2 人工智能
摘要
近年来，基于 BERT 的模型在解决各种自然语言处理（NLP）任务（如阅读理解、自然语言推理、情感分析等）方面极为成功。所有基于 BERT 的架构都以一个自注意力块后接一个中间层块作为基本构建组件。然而，文献中仍缺乏对引入这些中间层的充分论证。在本文中，我们研究了中间层对下游任务整体网络性能的重要性。我们表明，减少中间层数量并修改 BERT-BASE 的架构，在降低模型参数量和训练时间的同时，对下游任务的微调精度损失极小。此外，我们使用中心化核对齐和探测线性分类器来深入理解我们的架构修改，并证明移除中间层对微调精度影响甚微。
引用
@article{arxiv.2012.11881,
title = {Undivided Attention: Are Intermediate Layers Necessary for BERT?},
author = {Sharath Nittur Sridhar and Anthony Sarah},
journal= {arXiv preprint arXiv:2012.11881},
year = {2023}
}