以多硬件约束增强神经架构搜索用于深度学习模型在微型物联网设备上的部署
机器学习
2023-10-12 v1
摘要
依赖物联网（IoT）设备的计算领域的快速扩张，产生了对能够在低功耗设备上运行的高效且准确的深度学习（DL）模型的迫切需求。然而，传统 DL 模型对于典型的 IoT 终端节点往往过于复杂且计算密集。为应对这一挑战，神经架构搜索（NAS）已成为一种流行的设计自动化技术，用于协同优化深度神经网络的准确性与复杂度。尽管如此，现有 NAS 技术需要多次迭代才能产生符合特定硬件约束（如硬件上可用的最大内存或目标应用允许的最大延迟）的网络。在本工作中，我们提出一种新方法，将多重约束纳入所谓的微分 NAS 优化方法中，从而能够一次性生成在可与单次标准训练相媲美的时间内尊重用户对内存和延迟所定义约束的模型。所提方法在五个 IoT 相关基准上进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，结果表明，通过单次搜索，相较于我们设定的目标，可将内存和延迟分别降低 87.4% 和 54.2%，同时确保在与 TinyML 相关的最先进手工调优深度神经网络上准确性不劣化。
引用
@article{arxiv.2310.07217,
title = {Enhancing Neural Architecture Search with Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny IoT Devices},
author = {Alessio Burrello and Matteo Risso and Beatrice Alessandra Motetti and Enrico Macii and Luca Benini and Daniele Jahier Pagliari},
journal= {arXiv preprint arXiv:2310.07217},
year = {2023}
}
备注
Accepted for publication at the IEEE Transactions on Emerging Topics in Computing