IrEne：面向 Transformer 的可解释能耗预测
计算与语言
2021-06-03 v1
摘要
现有的基于软件的自然语言处理（NLP）模型能耗测量不够准确，因为它们未考虑能耗与模型执行之间的复杂交互。我们提出 IrEne，一个可解释且可扩展的能耗预测系统，能够准确预测各类基于 Transformer 的 NLP 模型的推理能耗。IrEne 构建模型树图，将 NLP 模型分解为模块，并进一步分解为底层机器学习（ML）原语。IrEne 将 ML 原语的推理能耗预测为可泛化特征与细粒度运行时资源使用量的函数。随后，IrEne 递归聚合这些底层预测，以预测每个模块乃至整个模型的能耗。在多个 Transformer 模型上的实验表明，与真实值相比，IrEne 预测 Transformer 模型推理能耗的误差低于 7%。相比之下，现有能耗模型的误差超过 50%。我们还展示了如何使用 IrEne 进行能耗瓶颈分析，并轻松评估不同架构选择的能耗影响。我们在 https://github.com/StonyBrookNLP/irene 发布了代码与数据。
引用
@article{arxiv.2106.01199,
title = {IrEne: Interpretable Energy Prediction for Transformers},
author = {Qingqing Cao and Yash Kumar Lal and Harsh Trivedi and Aruna Balasubramanian and Niranjan Balasubramanian},
journal= {arXiv preprint arXiv:2106.01199},
year = {2021}
}
备注
ACL 2021 camera ready