面向能源感知 NAS 基准测试的质量评估指南
机器学习
2025-05-22 v1
摘要
神经网络架构搜索 (NAS) 通过系统性地优化模型架构来加速深度学习的进展，但其搜索过程中的能源消耗日益增大。基于代理的基准测试通过查询预训练的代理模型来获取模型质量估计，从而缓解了完整训练的成本。 Specifically, 能源感知基准测试旨在使 NAS 能够在模型能源消耗与准确率之间进行有利的权衡。为此，我们提出了三大设计原则：(i) 可靠的功率测量、(ii) GPU 使用范围广泛、(iii) 综合成本报告。我们基于这些原则分析了 EA-HAS-Bench，发现 GPU 测量 API 的选择对结果质量影响巨大。使用 Nvidia System Management Interface (SMI) 及其底层库，会影响初始数据收集中的采样率，导致低功率估计不准，进而与使用外部功率计获取的准确测量结果关联性差。通过本研究，我们引起对进行能源感知代理基准测试时若干关键考虑事项的关注，并导出首个可帮助设计新型基准测试的指南。我们显示，四个 GPU 的实际使用范围在单 GPU 设置下从 146 W 到 305 W，且在使用全部四个 GPU 时使用的范围更小。为改善综合能源报告，我们提出了针对诸如 Code Carbon 等流行工具中所做假设的校准实验，通过该方法，在无需预测设备负载情况时，最大不准确率可从 10.3% 降至 8.9%，若事先预测负载则可降至 6.6%。
引用
@article{arxiv.2505.15631,
title = {Guidelines for the Quality Assessment of Energy-Aware NAS Benchmarks},
author = {Nick Kocher and Christian Wassermann and Leona Hennig and Jonas Seng and Holger Hoos and Kristian Kersting and Marius Lindauer and Matthias Müller},
journal= {arXiv preprint arXiv:2505.15631},
year = {2025}
}