芝麻开门：探析BERT的语言学知识内部表征
计算与语言
2019-06-06 v1
摘要
BERT在何种程度上以及如何编码对句法敏感的分层信息或对位置敏感的线性信息？近期工作表明，诸如BERT之类的上下文表示在需要语言结构敏感性的任务上表现良好。我们在此提出两项研究，旨在更好地理解BERT表示的性质。第一项研究聚焦于使用诊断分类器识别结构定义的元素，第二项通过对自注意力向量的定量评估探讨BERT对主谓一致和指代-先行词依赖的表示。在这两种情况下，我们发现BERT在其较低层能很好地编码关于词符的位置信息，但在较高层转为以分层为导向的编码。我们由此得出结论，BERT的表示确实建模了分层结构中语言学相关的方面，尽管它们似乎未表现出人类在处理反身指代时所具有的对分层结构的敏锐敏感性。
引用
@article{arxiv.1906.01698,
title = {Open Sesame: Getting Inside BERT's Linguistic Knowledge},
author = {Yongjie Lin and Yi Chern Tan and Robert Frank},
journal= {arXiv preprint arXiv:1906.01698},
year = {2019}
}
备注
To appear in the Proceedings of the 2019 ACL Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP