迈向高效NLP：一种标准评测与一个强基线
计算与语言
2022-04-12 v2 人工智能
摘要
超大预训练语言模型已将多种自然语言处理(NLP)任务的准确率推至新的最先进(SOTA)水平。越来越多的研究者不再追求遥不可及的SOTA准确率，而是开始关注模型效率与可用性。与准确率不同，效率的度量在不同研究中各异，难以公平比较。为此，本工作提出ELUE(高效语言理解评测)，一个面向高效NLP模型的标准评测与公开排行榜。ELUE致力于刻画各类语言理解任务的帕累托前沿，从而能够指明某方法是否及在多大程度上实现了帕累托改进。除基准外，我们还发布了一个强基线ElasticBERT，它允许BERT以静态与动态两种方式在任意层退出。我们证明，尽管简单，ElasticBERT优于或与SOTA压缩及提前退出模型性能相当。借助ElasticBERT，所提出的ELUE具备强帕累托前沿，并为高效NLP模型提供了更好的评测。
引用
@article{arxiv.2110.07038,
title = {Towards Efficient NLP: A Standard Evaluation and A Strong Baseline},
author = {Xiangyang Liu and Tianxiang Sun and Junliang He and Jiawen Wu and Lingling Wu and Xinyu Zhang and Hao Jiang and Zhao Cao and Xuanjing Huang and Xipeng Qiu},
journal= {arXiv preprint arXiv:2110.07038},
year = {2022}
}
备注
Accepted to the main conference of NAACL-2022