EC-NAS：面向神经架构搜索的能耗感知表格基准
机器学习
2024-03-25 v4 机器学习
摘要
近年来，深度学习模型的选择、训练和部署所带来的能耗显著上升。本工作旨在通过关注能耗，促进设计需要更少计算资源并优先考虑环境可持续性的高能效深度学习模型。神经架构搜索（NAS）受益于表格基准，其通过预计算的性能统计以低成本评估NAS策略。我们主张将能效作为NAS中的额外性能准则。为此，我们引入了一个增强的表格基准，涵盖不同架构的能耗数据。该基准被命名为EC-NAS，以开源形式提供以推进能耗感知NAS的研究。EC-NAS结合了一个预测能耗的代理模型，有助于减少数据集创建的能源消耗。我们的发现通过利用多目标优化算法强调了EC-NAS的潜力，揭示了能耗与准确率之间的平衡。这表明以极少或零性能损失识别低能耗架构是可行的。
引用
@article{arxiv.2210.06015,
title = {EC-NAS: Energy Consumption Aware Tabular Benchmarks for Neural Architecture Search},
author = {Pedram Bakhtiarifard and Christian Igel and Raghavendra Selvan},
journal= {arXiv preprint arXiv:2210.06015},
year = {2024}
}
备注
Accepted to be presented at the International Conference on Acoustics, Speech and Signal Processing (ICASSP-2024). Source code at https://github.com/saintslab/EC-NAS-Bench