面向边缘端时序卷积网络的轻量级神经架构搜索
机器学习
2023-01-26 v1
摘要
神经架构搜索（NAS）正迅速成为优化深度学习（DL）模型结构以应对图像分类或目标检测等复杂任务的首选方法。然而，DL的许多其他相关应用，尤其在边缘端，基于时间序列处理且需要具有独特特征的模型，而NAS在此方面的探索较少。本文特别关注时序卷积网络（TCN）——一种近年来作为更复杂循环架构的有前景替代方案而出现的时间序列处理卷积模型。我们提出了首个明确针对TCN最特殊架构参数（即膨胀、感受野与每层特征数）优化的NAS工具。该方法搜索在准确率与参数量/运算量之间提供良好权衡的网络，从而实现在嵌入式平台上的高效部署。我们在四项真实世界、边缘相关的任务（涉及音频与生物信号）上测试所提NAS。结果表明，从单一种子网络出发，我们的方法能获得丰富的帕累托最优架构集合，其中我们得到了与种子精度相同但参数减少15.9至152倍的模型。与三种前沿NAS工具ProxylessNAS、MorphNet和FBNetV2相比，我们的方法为TCN探索了更大的搜索空间（高达10^12倍）并获得了更优解，同时所需GPU内存与搜索时间较低。我们将NAS输出部署于两种不同边缘设备：多核GreenWaves Technology GAP8 IoT处理器与单核STMicroelectronics STM32H7微控制器。相较于前沿手工调优模型，我们在两个目标上分别将延迟与能耗降低至多5.5倍与3.8倍，且无任何精度损失。
引用
@article{arxiv.2301.10281,
title = {Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge},
author = {Matteo Risso and Alessio Burrello and Francesco Conti and Lorenzo Lamberti and Yukai Chen and Luca Benini and Enrico Macii and Massimo Poncino and Daniele Jahier Pagliari},
journal= {arXiv preprint arXiv:2301.10281},
year = {2023}
}
备注
Accepted for publication at the IEEE Transactions on Computers