利用AutoML实现可持续深度学习：深度移位神经网络的多目标超参数优化方法
机器学习
2024-04-05 v2 人工智能
摘要
深度学习通过从大型数据集中提取复杂模式推动了各个领域的发展。然而，深度学习模型的计算需求带来了环境和资源挑战。深度移位神经网络（DSNNs）通过利用移位操作降低推理时的计算复杂度提供了一种解决方案。借鉴标准深度神经网络的经验，我们感兴趣的是通过AutoML技术充分发挥DSNNs的潜力。我们研究超参数优化（HPO）的影响，以最大化DSNN性能同时最小化资源消耗。由于这结合了多目标（MO）优化，其中准确率和能耗是潜在互补的目标，我们提出将最先进的多保真度（MF）HPO与多目标优化相结合。实验结果表明了我们方法的有效性，产生了准确率超过80%且计算成本低的模型。总体而言，我们的方法加速了高效模型开发，同时实现了可持续的人工智能应用。
引用
@article{arxiv.2404.01965,
title = {Towards Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks},
author = {Leona Hennig and Tanja Tornede and Marius Lindauer},
journal= {arXiv preprint arXiv:2404.01965},
year = {2024}
}