HULK：面向负责任自然语言处理的能效基准平台
计算与语言
2020-02-17 v1
摘要
计算密集型的预训练模型已在 GLUE 等许多自然语言处理基准中占据主导地位。然而，模型训练与推理过程中的能效成为关键瓶颈。我们提出 HULK，一个面向负责任自然语言处理的多任务能效基准平台。借助 HULK，我们从时间与成本的角度比较预训练模型的能效。我们提供了基线基准结果以供进一步分析。不同预训练模型的微调效率在不同任务间差异显著，且更少的参数量并不一定意味着更好的效率。我们分析了此类现象并展示了比较预训练模型多任务效率的方法。我们的平台可在 https://sites.engineering.ucsb.edu/~xiyou/hulk/ 获取。
引用
@article{arxiv.2002.05829,
title = {HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing},
author = {Xiyou Zhou and Zhiyu Chen and Xiaoyong Jin and William Yang Wang},
journal= {arXiv preprint arXiv:2002.05829},
year = {2020}
}
备注
7 pages, 4 figures