一种对 Winograd Schema Challenge 惊人鲁棒的技巧
计算与语言
2019-10-15 v2
摘要
Winograd Schema Challenge（WSC）数据集 WSC273 及其推理对应集 WNLI 是自然语言理解与常识推理的流行基准。在本文中，我们展示三个语言模型在 WSC273 上的性能在类似于代词消歧问题数据集（记作 WSCR）上微调后显著提升。我们额外生成了一个大型无监督的 WSC 类数据集。通过在引入的数据集与 WSCR 数据集上同时微调 BERT 语言模型，我们在 WSC273 和 WNLI 上分别取得 72.5% 和 74.7% 的总体准确率，较先前最优（SOTA）方案分别提升 8.8% 和 9.6%。此外，我们的微调模型在 Trichelair 等人（2018）引入的 WSC273 “复杂”子集上也始终更为鲁棒。
引用
@article{arxiv.1905.06290,
title = {A Surprisingly Robust Trick for Winograd Schema Challenge},
author = {Vid Kocijan and Ana-Maria Cretu and Oana-Maria Camburu and Yordan Yordanov and Thomas Lukasiewicz},
journal= {arXiv preprint arXiv:1905.06290},
year = {2019}
}
备注
Appeared as part of the ACL 2019 conference