面向模型边缘适配的底层算子搜索
机器学习
2023-09-21 v1 神经与进化计算
摘要
硬件感知神经架构搜索(HW-NAS)正日益被用于设计高效的深度学习架构。高效且灵活的搜索空间对HW-NAS的成功至关重要。当前方法侧重于设计宏架构，并基于一组可能取值搜索该架构的超参数。这种方法受深度学习(DL)工程师的专业知识与标准建模方法的偏置影响。本文提出一种底层算子搜索(GOS)方法。我们的HW-NAS通过搜索高效的算子替换，将给定模型适配于边缘设备。我们将每个算子表达为一组刻画其行为数学指令。这些数学指令随后被用作搜索与选择高效替换算子的基础，在降低计算复杂度的同时保持原模型的精度。我们的方法之所以是底层的，是因为它依赖数学基础为DL架构构建新颖且高效的算子。我们在多种DL模型上证明，我们的方法在两款边缘设备（即Redmi Note 7S与Raspberry Pi3）上始终优于原模型，最少实现2.2倍加速且保持高精度。此外，我们展示了GOS方法在腕带设备脉搏率估计中的用例，取得了最先进(state-of-the-art)性能，同时保持更低的计算复杂度，证明了该方法在实际应用中的有效性。
引用
@article{arxiv.2309.11246,
title = {Grassroots Operator Search for Model Edge Adaptation},
author = {Hadjer Benmeziane and Kaoutar El Maghraoui and Hamza Ouarnoughi and Smail Niar},
journal= {arXiv preprint arXiv:2309.11246},
year = {2023}
}