探究BERT词元表示对解释句子探测结果的作用
计算与语言
2021-09-14 v2
摘要
已有若干研究致力于揭示BERT所捕获的语言特征。这通常通过在BERT不同层获得的表示上训练诊断分类器来实现。随后的分类准确率被解释为模型编码相应语言属性的能力。尽管提供了见解，这些研究忽略了词元表示的潜在作用。在本文中，我们对BERT的表示空间进行更深入的分析，以寻找能够解释这些探测结果背后原因的不同且有意义的子空间。基于一组探测任务并借助归因方法，我们表明BERT倾向于在特定词元表示中编码有意义的知识（在标准分类设置中常被忽略），使模型能够检测句法和语义异常，并清晰分离语法数和时态子空间。
引用
@article{arxiv.2104.01477,
title = {Exploring the Role of BERT Token Representations to Explain Sentence Probing Results},
author = {Hosein Mohebbi and Ali Modarressi and Mohammad Taher Pilehvar},
journal= {arXiv preprint arXiv:2104.01477},
year = {2021}
}
备注
Accepted to EMNLP 2021 (main conference)