绿色AI：不同运行时基础设施下深度学习模型能耗的初步实证研究
软件工程
2024-02-29 v2 机器学习
摘要
诸如 PyTorch 和 TensorFlow 等深度学习 (DL) 框架包含运行时基础设施，负责在目标硬件上执行训练好的模型，管理内存、数据传输以及多加速器执行（如适用）。此外，将预训练模型部署在与原生开发环境不同的环境中是一种常见做法。这导致了诸如 ONNX 等交换格式的引入，其包含运行时基础设施 ONNX Runtime，作为可跨多种 DL 框架和语言使用的标准格式。尽管这些运行时基础设施对推理性能有很大影响，但此前没有论文研究过它们的能效。在本研究中，我们使用三种不同的 DL 模型，监测了三种知名 DL 框架以及 ONNX 的运行时基础设施的能耗和推理时间。为了使研究更细致，我们还考察了使用不同执行提供程序的影响。我们发现 DL 的性能和能效难以预测。对于计算机视觉模型，在批大小为 1 时，由于高效的 GPU 利用率和较低的 CPU 使用率，一个框架 MXNet 的表现优于 PyTorch 和 TensorFlow。然而，批大小为 64 使得 PyTorch 和 MXNet 几乎没有区别，而 TensorFlow 始终表现不佳。对于 BERT，PyTorch 表现出最佳性能。在大多数情况下，将模型转换为 ONNX 可显著提升性能。最后，在对执行提供程序的初步调查中，我们观察到 TensorRT 始终优于 CUDA。
引用
@article{arxiv.2402.13640,
title = {Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures},
author = {Negar Alizadeh and Fernando Castor},
journal= {arXiv preprint arXiv:2402.13640},
year = {2024}
}