SpaceEvo：面向高效 INT8 推理的硬件友好搜索空间设计
计算机视觉与模式识别
2023-03-16 v1
摘要
神经架构搜索（NAS）与量化的结合已被证明能成功自动设计低 FLOPs 的 INT8 量化神经网络（QNN）。然而，直接应用 NAS 设计在真实设备上具备低延迟的精确 QNN 模型会导致性能不佳。本工作中，我们发现糟糕的 INT8 延迟源于量化不友好问题：已有搜索空间中的算子与配置（如通道宽度）选择导致多样化的量化效率，并拖慢 INT8 推理速度。为应对该挑战，我们提出 SpaceEvo，一种为每个目标硬件自动设计专用、量化友好搜索空间的方法。SpaceEvo 的核心思想是在称为 Q-T 分数（用于量化候选搜索空间量化友好程度）的指标引导下，自动搜索硬件偏好的算子与配置以构建搜索空间。我们进一步在发现的搜索空间上训练一个“为量化而生”的超网络，使搜索到的模型无需额外重训练或量化即可直接部署。我们发现模型在各种延迟约束下确立了新的 SOTA INT8 量化精度，在相同延迟下比已有 CNN 在 ImageNet 上精度提升达 10.1%。在多种边缘设备上的大量实验表明，SpaceEvo 始终优于现有手动设计的搜索空间，在达到相同精度时速度最高快 2.5 倍。
引用
@article{arxiv.2303.08308,
title = {SpaceEvo: Hardware-Friendly Search Space Design for Efficient INT8 Inference},
author = {Li Lyna Zhang and Xudong Wang and Jiahang Xu and Quanlu Zhang and Yujing Wang and Yuqing Yang and Ningxin Zheng and Ting Cao and Mao Yang},
journal= {arXiv preprint arXiv:2303.08308},
year = {2023}
}