Russian SuperGLUE 1.1：修正俄罗斯 NLP 模型未吸取的教训
计算与语言
2022-02-17 v1 人工智能
摘要
在过去一年中，针对俄语发布了新的神经架构与多语言预训练模型，这导致在一系列语言理解任务上的性能评估出现问题。本文提出 Russian SuperGLUE 1.1，一个仿照 GLUE 为俄罗斯 NLP 模型设计的更新基准。新版本包含若干技术、用户体验与方法论上的改进，包括修复前一版本中未解决的基准漏洞：用于理解上下文中词义的新颖且改进测试（RUSSE），以及阅读理解与常识推理（DaNetQA、RuCoS、MuSeRC）。随着更新数据集的发布，我们基于 \texttt{jiant} 框架改进了基准工具包，以支持各种架构的 NLP 模型的一致训练与评估，其现已支持最新的俄语模型。最后，我们将 Russian SuperGLUE 与用于开源模型工业评估的框架 MOROCCO（MOdel ResOurCe COmparison）集成，其中模型根据所有任务的加权平均指标、推理速度与占用 RAM 量进行评估。Russian SuperGLUE 公开于 https://russiansuperglue.com/。
引用
@article{arxiv.2202.07791,
title = {Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP models},
author = {Alena Fenogenova and Maria Tikhonova and Vladislav Mikhailov and Tatiana Shavrina and Anton Emelyanov and Denis Shevelev and Alexandr Kukushkin and Valentin Malykh and Ekaterina Artemova},
journal= {arXiv preprint arXiv:2202.07791},
year = {2022}
}
备注
Computational Linguistics and Intellectual Technologies Papers from the Annual International Conference "Dialogue" (2021) Issue 20