Distill-Net:面向资源受限IoT平台的深度卷积神经网络应用专用蒸馏
机器学习
2018-12-19 v1 计算机视觉与模式识别
机器学习
摘要
许多物联网(IoT)应用要求对其周边环境中少数关键事件进行快速而准确的感知。深度卷积神经网络(CNNs)已成为理解语音、图像及类似高维数据类型的有效方法。然而,现代CNN的算法性能从根本上依赖于学习类不可知的分层特征,而这些特征仅存在于具有众多类别的综合训练数据集中。因此,使用在此类数据集上训练的CNN进行快速推断对大多数资源受限的IoT平台而言难以承受。为弥合这一差距,我们提出一种原则性且实用的方法论,用于将为有效识别多种不同类别输入数据而训练的复杂现代CNN,蒸馏为依赖于应用的核心本质部分,其不仅能准确识别应用所关注的少数类别,还可于资源有限的平台上高效运行。实验结果证实,我们的方法在分类精度(应用约束)、推断效率(平台约束)与新应用的高效开发(业务约束)之间取得了良好平衡。
引用
@article{arxiv.1812.07390,
title = {Distill-Net: Application-Specific Distillation of Deep Convolutional Neural Networks for Resource-Constrained IoT Platforms},
author = {Mohammad Motamedi and Felix Portillo and Daniel Fong and Soheil Ghiasi},
journal= {arXiv preprint arXiv:1812.07390},
year = {2018}
}