調整超參數是否可導致綠色深度學習：超參數與深度學習模型能耗關聯的經驗研究
软件工程
2026-03-09 v1
摘要
背景：隨著深度學習 (DL) 模型的發展，應用更大的數據集和更複雜的模型結構，導致計算資源和能源消耗不斷上升，這凸顯了應該更加關注綠色 DL 模型。目標：本文聚焦於一個新視角分析 DL 能源消耗：超參數對 DL 模型能耗的影響。方法：我們的方法涉及使用突變算子模擬實踐者如何調整超參數，如 epoch 和學習率。我們分別訓練原始模型和突變模型，收集能源信息和運行時間性能指標。此外，我們關注平行情況下多個 DL 模型同步訓練的情況。結果：為了檢視超參數對能源消耗的影響，我們對五個真實世界 DL 模型進行了廣泛實驗。結果顯示：(1) 許多研究的超參數與能源消耗之間存在（正或負）相關性；(2) 調整超參數可使 DL 模型更綠色，即在不損害性能的前提下導致能源消耗降低；(3) 在平行環境中，能源消耗對變化更敏感。結論：我們建議在開發 DL 模型時需要更加關注超參數，因為恰當地調整超參數將導致更綠色的 DL 模型。
引用
@article{arxiv.2603.06195,
title = {Can Adjusting Hyperparameters Lead to Green Deep Learning: An Empirical Study on Correlations between Hyperparameters and Energy Consumption of Deep Learning Models},
author = {Taoran Wang and Yanhui Li and Mingliang Ma and Lin Chen and Yuming Zhou},
journal= {arXiv preprint arXiv:2603.06195},
year = {2026}
}