面向 GPU 高效网络的神经架构设计
计算机视觉与模式识别
2020-08-13 v4
摘要
许多任务关键型系统基于 GPU 进行推理。这不仅要求高识别精度，还要求低响应延迟。尽管许多研究致力于优化深度模型结构以实现高效推理，但其中大多数未利用\textbf{现代 GPU}的架构来实现快速推理，导致次优性能。为解决此问题，我们基于大量实证研究提出了一套设计 GPU 高效网络的通用原则。该设计原则使我们能够通过一种简单轻量的方法有效搜索 GPU 高效的网络结构，而非大多数复杂且计算昂贵的神经架构搜索（NAS）方法。基于所提框架，我们设计了一系列 GPU 高效网络，简称 GENets。我们在多个 GPU 平台和推理引擎上进行了广泛评估。在 ImageNet 上取得 的 top-1 精度同时，GENet 在 GPU 上比 EfficientNet 快达 倍。在高精度区间它也优于多数比 EfficientNet 更高效的前沿模型。我们的源代码与预训练模型可从 \url{https://github.com/idstcv/GPU-Efficient-Networks} 获取。
引用
@article{arxiv.2006.14090,
title = {Neural Architecture Design for GPU-Efficient Networks},
author = {Ming Lin and Hesen Chen and Xiuyu Sun and Qi Qian and Hao Li and Rong Jin},
journal= {arXiv preprint arXiv:2006.14090},
year = {2020}
}
备注
update training setting