NarrowBERT：加速掩码语言模型预训练与推理

大规模语言模型预训练是自然语言处理中一种非常成功的自监督学习形式，但随着模型与预训练语料库随时间不断增大，其计算开销日益昂贵。我们提出 NarrowBERT，一种改进的 transformer 编码器，可将掩码语言模型预训练的吞吐量提升超过 $2\times$。NarrowBERT 对 transformer 模型进行稀疏化，使得自注意力查询与前馈层在预训练期间仅作用于每个句子的掩码词元，而非像通常的 transformer 编码器那样作用于所有词元。我们还表明，NarrowBERT 在推理时将吞吐量提升高达 $3.5\times$，且在 MNLI 等句子编码任务上性能下降极小（或无下降）。最后，我们考察了 NarrowBERT 在 IMDB 与 Amazon 评论分类以及 CoNLL NER 任务上的表现，并显示其与标准 BERT 性能相当。