探究不同 NLP 任务对机器功能词理解能力的教导作用
计算与语言
2019-08-08 v2
摘要
我们引入一组九个挑战任务以测试对功能词的理解。这些任务通过对现有数据集中的句子进行结构化变异来构建，以针对特定类型功能词（如介词、wh-词）的理解。利用这些探察任务，我们探究了多种句子编码器预训练目标（如语言建模、CCG 超标记和自然语言推理 (NLI)）对所学习表示的影响。我们的结果显示，语言建模预训练在我们的探察任务上平均表现最佳，支持其被广泛用于最先进 NLP 模型的预训练，且 CCG 超标记与 NLI 预训练表现相当。总体而言，没有任何预训练目标全面占优，且我们的功能词探察任务凸显了预训练目标间若干直观差异，例如 NLI 有助于否定词的理解。
引用
@article{arxiv.1904.11544,
title = {Probing What Different NLP Tasks Teach Machines about Function Word Comprehension},
author = {Najoung Kim and Roma Patel and Adam Poliak and Alex Wang and Patrick Xia and R. Thomas McCoy and Ian Tenney and Alexis Ross and Tal Linzen and Benjamin Van Durme and Samuel R. Bowman and Ellie Pavlick},
journal= {arXiv preprint arXiv:1904.11544},
year = {2019}
}
备注
Accepted to *SEM 2019 (revised submission). Corresponding authors: Najoung Kim ([email protected]), Ellie Pavlick ([email protected])