BERT 重新发现经典 NLP 流水线
计算与语言
2019-08-12 v2
摘要
预训练文本编码器已迅速推进了许多 NLP 任务上的最优性能。我们聚焦于其中一个此类模型 BERT，旨在量化语言信息在网络中的何处被捕获。我们发现该模型以可解释且可定位的方式表示了传统 NLP 流水线的各个步骤，且负责各步骤的区域以预期顺序出现：词性标注、句法分析、命名实体识别、语义角色，然后共指消解。定性分析揭示，该模型能够且经常动态地调整这一流水线，基于来自更高层表示的消歧信息修订低层决策。
引用
@article{arxiv.1905.05950,
title = {BERT Rediscovers the Classical NLP Pipeline},
author = {Ian Tenney and Dipanjan Das and Ellie Pavlick},
journal= {arXiv preprint arXiv:1905.05950},
year = {2019}
}
备注
Presented at ACL 2019