TEA-DNN：面向时间-能耗-精度协同优化的深度神经网络探索
神经与进化计算
2019-10-22 v2 机器学习
摘要
嵌入式深度学习平台同时经历了两方面的改进。首先，通过使用自动化神经架构搜索（NAS）算法确定 CNN 结构，卷积神经网络（CNNs）的精度得到显著提升。其次，人们越来越关注开发用于 CNN 的硬件加速器，与 GPU 相比其提供了改进的推理性能和能耗。此类嵌入式深度学习平台在计算资源和内存访问带宽方面存在差异，这将影响 CNN 的性能和能耗。因此，在网络架构搜索中考虑可用硬件资源至关重要。为此，我们引入 TEA-DNN，一种针对嵌入式架构上 CNN 工作负载的执行时间、能耗和分类精度多目标优化的 NAS 算法。TEA-DNN 在探索精度、执行时间和能耗的帕累托最优曲线时利用嵌入式硬件上的能耗和执行时间测量，且不需要额外工作来建模底层硬件。我们将 TEA-DNN 应用于实际嵌入式平台（NVIDIA Jetson TX2 和 Intel Movidius Neural Compute Stick）上的图像分类。我们强调了帕累托最优工作点，其强调了在搜索过程中显式考虑硬件特性的必要性。据我们所知，这是使用硬件实际测量获取目标值、跨一系列硬件平台的帕累托最优模型最全面的研究。
引用
@article{arxiv.1811.12065,
title = {TEA-DNN: the Quest for Time-Energy-Accuracy Co-optimized Deep Neural Networks},
author = {Lile Cai and Anne-Maelle Barneche and Arthur Herbout and Chuan Sheng Foo and Jie Lin and Vijay Ramaseshan Chandrasekhar and Mohamed M. Sabry},
journal= {arXiv preprint arXiv:1811.12065},
year = {2019}
}
备注
Accepted by ISLPED2019