MOROCCO：模型资源比较框架
计算与语言
2021-04-30 v1
摘要
新一代预训练NLP模型将SOTA推向新的极限，但代价是计算资源，以至于它们在真实生产环境中的使用往往昂贵得令人却步。我们通过不仅评估下游任务上的标准质量指标，还评估内存占用与推理时间来解决此问题。我们提出MOROCCO，一个兼容 \texttt{jiant} 环境的语言模型比较框架，该环境支持超过50个NLU任务，包括SuperGLUE基准和多个探测套件。我们展示了其在不同语言的两种类GLUE套件上的适用性。
引用
@article{arxiv.2104.14314,
title = {MOROCCO: Model Resource Comparison Framework},
author = {Valentin Malykh and Alexander Kukushkin and Ekaterina Artemova and Vladislav Mikhailov and Maria Tikhonova and Tatiana Shavrina},
journal= {arXiv preprint arXiv:2104.14314},
year = {2021}
}