面向更绿色预训练ML模型的ML优化策略影响
机器学习
2024-09-20 v1 软件工程
摘要
背景：鉴于当今技术的快速发展，已超越人类在图像分类、视觉推理和英文理解等任务上的性能，评估机器学习(ML)对能源消耗的影响至关重要。传统上，ML项目在准确率方面优先于能源，导致模型推理期间能源消耗的差距。目标：本研究旨在( i )分析图像分类数据集和预训练模型，( ii )通过比较优化与非优化模型来提高推理效率，( iii )评估优化的经济影响。方法：我们进行受控实验，评估各种PyTorch优化技术(动态量化、torch.compile、局部剪枝和全局剪枝)对42个Hugging Face图像分类模型的影响。考察的指标包括GPU利用率、功耗与能耗、准确率、时间、计算复杂度和经济成本。对模型进行多次重复评估，以量化这些软件工程策略的效果。结果：动态量化在推理时间和能耗消耗方面显著降低，非常适用于大规模系统。此外，torch.compile在准确率和能耗之间取得平衡。相比之下，局部剪枝未对性能产生积极影响，全局剪枝的较长优化时间显著影响成本。结论：本研究凸显了软件工程策略在实现更绿色ML模型方面的作用，为实践者提供了指南，帮助其在与可持续发展目标相符的优化方法之间做出明智决策。
引用
@article{arxiv.2409.12878,
title = {Impact of ML Optimization Tactics on Greener Pre-Trained ML Models},
author = {Alexandra González Álvarez and Joel Castaño and Xavier Franch and Silverio Martínez-Fernández},
journal= {arXiv preprint arXiv:2409.12878},
year = {2024}
}