面向节能与资源感知人工智能的节俭机器学习
机器学习
2025-06-03 v1 人工智能
摘要
节俭机器学习（FML）是指设计高效、高性价比且注重资源约束的机器学习（ML）模型的实践。该领域旨在实现可接受的性能，同时最小化训练和推理过程中对计算资源、时间、能源和数据的消耗。FML 策略可大致分为输入节俭、学习过程节俭和模型节俭，分别侧重于在 ML 流程的不同阶段减少资源消耗。本章探讨了 FML 的最新进展、应用和开放性挑战，强调了其对于融合边缘计算和 IoT 设备的智能环境的重要性，这些环境通常面临带宽、能源或延迟方面的严格限制。文中讨论了模型压缩、节能硬件和数据高效学习技术等技术推动因素，以及包括参数正则化、知识蒸馏和动态架构设计在内的自适应方法，这些方法能够在无需完全重新训练的情况下实现模型的增量更新。此外，本章还提供了节俭方法的全面分类法，讨论了跨不同领域的案例研究，并指出了推动这一不断发展领域创新的未来研究方向。
引用
@article{arxiv.2506.01869,
title = {Frugal Machine Learning for Energy-efficient, and Resource-aware Artificial Intelligence},
author = {John Violos and Konstantina-Christina Diamanti and Ioannis Kompatsiaris and Symeon Papadopoulos},
journal= {arXiv preprint arXiv:2506.01869},
year = {2025}
}