扩展量化感知神经架构搜索以实现高效边缘深度学习
计算机视觉与模式识别
2024-01-24 v1 机器学习
摘要
神经架构搜索 (NAS) 已成为为边缘设备设计精确高效网络的事实标准方法。由于模型在边缘部署时通常会进行量化，近期工作研究了量化感知 NAS (QA-NAS)，以搜索高精度且高效的量化模型。然而，现有的 QA-NAS 方法，特别是少比特混合精度 (FB-MP) 方法，无法扩展到更大的任务。因此，QA-NAS 主要局限于小规模任务和微型网络。在这项工作中，我们提出了一种方法，通过利用块级 NAS 引入的逐块公式，在大规模任务上实现 QA-NAS（INT8 和 FB-MP）。我们在 Cityscapes 数据集上的语义分割任务中展示了强有力的结果，发现 FB-MP 模型比 DeepLabV3 (INT8) 小 33%，INT8 模型比 DeepLabV3 (INT8) 快 17.6%，且不牺牲任务性能。
引用
@article{arxiv.2401.12350,
title = {Scaling Up Quantization-Aware Neural Architecture Search for Efficient Deep Learning on the Edge},
author = {Yao Lu and Hiram Rayo Torres Rodriguez and Sebastian Vogel and Nick van de Waterlaat and Pavol Jancura},
journal= {arXiv preprint arXiv:2401.12350},
year = {2024}
}
备注
Accepted at Workshop on Compilers, Deployment, and Tooling for Edge AI (CODAI '23 ), September 21, 2023, Hamburg, Germany