面向异构分布式物联网环境自适应推理的高效训练后增强
机器学习
2024-03-14 v1 人工智能
摘要
早退神经网络（EENN）为提升神经网络部署效率提供了一种解决方案。然而，由于存在大量额外的设计选择，创建 EENN 具有挑战性且需要专业知识。为解决此问题，我们提出了一种自动化增强流程，专注于将现有模型转换为 EENN。它执行部署到异构或分布式硬件目标所需的所有设计决策：我们的框架构建 EENN 架构，将其子图映射到硬件目标，并配置其决策机制。据我们所知，这是首个能够执行所有这些步骤的框架。我们在物联网和标准图像分类用例集合上评估了我们的方法。对于语音命令检测任务，我们的解决方案能够将每次推理的平均操作数减少 59.67%。对于心电图分类任务，它能够提前终止所有样本，将平均推理能耗降低 74.9%，计算量降低 78.3%。在 CIFAR-10 上，我们的解决方案能够实现高达 58.75% 的计算量减少。在 CIFAR-10 的 ResNet-152 基础模型上进行搜索，在笔记本电脑 CPU 上耗时不到九小时。我们提出的方法能够创建针对物联网环境优化的 EENN，并可以降低深度在嵌入式和雾计算平台上的推理成本，同时显著降低搜索成本——使其更易于工业界和研究界的科学家和工程师使用。低搜索成本提高了 EENN 的可及性，有望在广泛的实际应用中提高神经网络的效率。
引用
@article{arxiv.2403.07957,
title = {Efficient Post-Training Augmentation for Adaptive Inference in Heterogeneous and Distributed IoT Environments},
author = {Max Sponner and Lorenzo Servadei and Bernd Waschneck and Robert Wille and Akash Kumar},
journal= {arXiv preprint arXiv:2403.07957},
year = {2024}
}