Winograd 模式挑战的终结
计算与语言
2023-01-24 v3
摘要
Winograd 模式挑战（Winograd Schema Challenge，WSC）——一组涉及代词指代消歧、似乎需要运用常识知识的孪生句子——由 Hector Levesque 于 2011 年提出。至 2019 年，若干基于大型预训练 transformer 语言模型并针对此类问题微调的 AI 系统取得了优于 90% 的准确率。在本文中，我们回顾 Winograd 模式挑战的历史，并讨论过去十年围绕 WSC 所展开的大量研究所留下的持久贡献。我们讨论为 WSC 开发的各种数据集的意义，以及研究界对替代任务在评估 AI 系统智能中所起作用更为深入的理解。
引用
@article{arxiv.2201.02387,
title = {The Defeat of the Winograd Schema Challenge},
author = {Vid Kocijan and Ernest Davis and Thomas Lukasiewicz and Gary Marcus and Leora Morgenstern},
journal= {arXiv preprint arXiv:2201.02387},
year = {2023}
}