SuperGLUE：一个更具挑战性的通用语言理解系统基准
计算与语言
2020-02-14 v3 人工智能
摘要
在过去一年中，用于预训练与迁移学习的新模型和新方法在一系列语言理解任务上取得了显著的性能提升。大约一年前提出的 GLUE 基准提供了一个单一数值指标，用以概括多种此类任务的进展，但该基准上的性能近来已超越非专家人类水平，表明进一步研究的空间有限。在本文中，我们提出 SuperGLUE，这是一个仿照 GLUE 构建的新基准，包含一组更困难的语言理解任务、一个软件工具包以及一个公开排行榜。SuperGLUE 可在 super.gluebenchmark.com 获取。
引用
@article{arxiv.1905.00537,
title = {SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems},
author = {Alex Wang and Yada Pruksachatkun and Nikita Nangia and Amanpreet Singh and Julian Michael and Felix Hill and Omer Levy and Samuel R. Bowman},
journal= {arXiv preprint arXiv:1905.00537},
year = {2020}
}
备注
NeurIPS 2019, super.gluebenchmark.com updating acknowledegments