面向绿色 AI 的批处理——一项关于推理的探索性研究
机器学习
2023-07-24 v1 人工智能
计算机视觉与模式识别
软件工程
摘要
批大小是开发新神经网络时一个重要的调参参数。除其他质量指标外，它对模型的准确率、泛化能力、训练时间和并行性有很大影响。这一事实已广为人知并常被研究。然而，在深度学习模型的应用阶段，当终端用户利用模型进行推理时，我们发现人们忽视了引入批大小所带来的潜在益处。在本研究中，我们考察了输入批处理对五个完全训练好的计算机视觉神经网络（在其发表时被视为最先进的）的能耗和响应时间的影响。结果表明，批处理对这两项指标均有显著影响。此外，我们展示了过去十年间神经网络能效与准确率的演进时间线。我们发现，总体而言，能耗的增长速度远快于准确率，并质疑这种演进的必要性。另外，我们着重指出一个特定的网络 ShuffleNetV2(2018)，其在保持低得多的能耗的同时取得了当时具有竞争力的性能。尽管如此，我们强调结果依赖于具体模型。
引用
@article{arxiv.2307.11434,
title = {Batching for Green AI -- An Exploratory Study on Inference},
author = {Tim Yarally and Luís Cruz and Daniel Feitosa and June Sallou and Arie van Deursen},
journal= {arXiv preprint arXiv:2307.11434},
year = {2023}
}
备注
8 pages, 4 figures, 1 table. Accepted at Euromicro Conference Series on Software Engineering and Advanced Applications (SEAA) 2023