利用知识蒸馏中的早停机制在边缘设备上设计与训练轻量级神经网络
机器学习
2022-10-03 v1 神经与进化计算
摘要
深度神经网络（DNN）的自动特征提取能力和显著性能使其适用于物联网（IoT）应用。然而，由于庞大的计算、能耗和存储需求，在边缘设备上部署 DNN 变得难以实现。本文提出一种利用大尺寸 DNN 设计和训练轻量级 DNN 的新方法。该方法考虑了在边缘设备上执行任务可用的存储、处理速度和最大允许处理时间。我们提出一种基于知识蒸馏的训练流程来训练轻量级 DNN 以达到足够的精度。在轻量级 DNN 的训练过程中，我们引入一种新颖的早停技术，其保留了网络资源，从而加速了训练过程。最后，我们给出了经验性和真实世界的评估，以使用各种边缘设备在不同约束下验证所提方法的有效性。
引用
@article{arxiv.2209.15560,
title = {Designing and Training of Lightweight Neural Networks on Edge Devices using Early Halting in Knowledge Distillation},
author = {Rahul Mishra and Hari Prabhat Gupta},
journal= {arXiv preprint arXiv:2209.15560},
year = {2022}
}
备注
13 pages, 7 figures, 11 tables