BERTology入门：关于BERT如何工作的已知认知
计算与语言
2020-11-10 v3
摘要
基于Transformer的模型已在NLP的许多领域推动了最先进水平，但我们对它们成功背后机制的理解仍然有限。本文是对流行的BERT模型超过150项研究的首次综述。我们回顾了关于BERT如何工作、它学习何种信息及如何表征、对其训练目标与架构的常见修改、过参数化问题以及压缩方法的当前认知。随后我们概述了未来研究的方向。
引用
@article{arxiv.2002.12327,
title = {A Primer in BERTology: What we know about how BERT works},
author = {Anna Rogers and Olga Kovaleva and Anna Rumshisky},
journal= {arXiv preprint arXiv:2002.12327},
year = {2020}
}
备注
Accepted to TACL. Please note that the multilingual BERT section is only available in version 1