预训练语言模型是否感知短语？用于语法归纳的简单而强力的基线
计算与语言
2020-02-04 v1 人工智能
机器学习
摘要
随着预训练语言模型（LM）在自然语言处理中近期的成功与流行，理解其内部机制的努力不断增多。顺应此兴趣，我们提出一种新方法，协助探究预训练 LM 在多大程度上捕获了句法上的成分概念。我们的方法提供了一种无需训练即可从预训练 LM 中提取成分树的有效方式。此外，我们报告了在归纳树中的有趣发现，包括预训练 LM 在正确划分句子中副词短语方面优于其他方法这一事实。
引用
@article{arxiv.2002.00737,
title = {Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction},
author = {Taeuk Kim and Jihun Choi and Daniel Edmiston and Sang-goo Lee},
journal= {arXiv preprint arXiv:2002.00737},
year = {2020}
}
备注
ICLR 2020