探索AI框架在64核RV64服务器CPU上的能耗
分布式、并行与集群计算
2025-04-08 v1 人工智能
硬件体系结构
摘要
在当今技术快速发展的时代，人工智能（AI）应用需要大规模、高性能和数据密集型的计算，导致巨大的能源需求。应对这一挑战需要硬件和软件创新的结合。硬件制造商正在开发新的、高效且专门的解决方案，其中RISC-V架构因其开放、可扩展和节能的指令集架构（ISA）而成为重要参与者。同时，软件开发人员正在创建新的算法和框架，但其能效往往尚不明确。在本研究中，我们对64核SOPHON SG2042 RISC-V架构上的机器学习（ML）应用进行了全面的基准分析。我们特别分析了三个领先AI框架（PyTorch、ONNX Runtime和TensorFlow）上深度学习推理模型的能耗。我们的发现表明，使用XNNPACK后端的框架（如ONNX Runtime和TensorFlow）比使用原生OpenBLAS后端的PyTorch消耗更少的能量。
引用
@article{arxiv.2504.03774,
title = {Exploring energy consumption of AI frameworks on a 64-core RV64 Server CPU},
author = {Giulio Malenza and Francesco Targa and Adriano Marques Garcia and Marco Aldinucci and Robert Birke},
journal= {arXiv preprint arXiv:2504.03774},
year = {2025}
}