CoDA21：基于上下文-定义对齐评估 NLP 模型的语言理解能力
计算与语言
2022-03-15 v1 人工智能
摘要
预训练语言模型（PLM）已在许多基准上取得超越人类的表现，这催生了对更困难任务的需求。我们引入 CoDA21（上下文-定义对齐），这是一个衡量 PLM 自然语言理解（NLU）能力的具有挑战性的基准：给定 k 个词各自的的定义和上下文，但不给出词本身，任务是将 k 个定义与 k 个上下文对齐。CoDA21 需要对上下文和定义有深入理解，包括复杂推理与世界知识。我们发现人类与 PLM 表现之间存在巨大差距，表明 CoDA21 衡量了现有基准未充分覆盖的 NLU 的一个方面。
引用
@article{arxiv.2203.06228,
title = {CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment},
author = {Lütfi Kerem Senel and Timo Schick and Hinrich Schütze},
journal= {arXiv preprint arXiv:2203.06228},
year = {2022}
}
备注
To appear in ACL 2022, 5 pages, 2 figures