计算与可持续 AI 效率的指标与评估
性能
2025-10-22 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
人工智能（AI）的快速发展创造了前所未有的计算需求，然而用于评估部署模型性能、效率和环境影响的方法仍然分散。现有方法往往无法提供整体视图，难以在异构硬件、软件堆栈和数值精度之间进行比较和优化。为填补这一空白，我们提出一种统一且可复现的 AI 模型推理方法，将计算和环境指标整合在现实的服务条件下。我们的框架在系统性测量延迟和吞吐量分布、能源消耗和位置调整碳排放的同时，维持匹配的准确率约束，以实现有效的比较。我们将该方法应用于跨异构硬件平台的多精度模型，从数据中心加速器如 GH200 到消费级 GPU 如 RTX 4090，运行于主流软件堆栈包括 PyTorch、TensorRT 和 ONNX Runtime 上。通过系统性地对这些因素进行分类，本工作建立了严格的基准框架，产生决策就绪的 Pareto 前沿，阐明了准确率、延迟、能源和碳排放之间的权衡。配套的开源代码使独立验证成为可能，促进了采用，使研究人员和实践者能够基于证据做出可持续 AI 部署的决策。
引用
@article{arxiv.2510.17885,
title = {Metrics and evaluations for computational and sustainable AI efficiency},
author = {Hongyuan Liu and Xinyang Liu and Guosheng Hu},
journal= {arXiv preprint arXiv:2510.17885},
year = {2025}
}
备注
11 pages, 2 tables