GLUE-X:从分布外泛化视角评估自然语言理解模型
计算与语言
2023-05-23 v4 人工智能
机器学习
性能
摘要
已知预训练语言模型(PLM)通过在预训练阶段利用大量数据可提升自然语言理解模型的泛化性能。然而,分布外(OOD)泛化问题在许多 NLP 任务中仍具挑战性,限制了这些方法在真实世界的部署。本文首次尝试创建名为 GLUE-X 的统一基准,用于评估 NLP 模型的 OOD 鲁棒性,强调 OOD 鲁棒性的重要性,并就该如何衡量模型鲁棒性以及如何改进提供见解。该基准包含 13 个公开可用的 OOD 测试数据集,并在 21 个常用 PLM(包括 GPT-3 和 GPT-3.5)上对 8 个经典 NLP 任务进行了评估。我们的发现证实了 NLP 任务中提升 OOD 准确率的必要性,因为在所有设定下相较于分布内(ID)准确率均观察到显著的性能下降。
引用
@article{arxiv.2211.08073,
title = {GLUE-X: Evaluating Natural Language Understanding Models from an Out-of-distribution Generalization Perspective},
author = {Linyi Yang and Shuibai Zhang and Libo Qin and Yafu Li and Yidong Wang and Hanmeng Liu and Jindong Wang and Xing Xie and Yue Zhang},
journal= {arXiv preprint arXiv:2211.08073},
year = {2023}
}
备注
Accepted to ACL-23 Findings