DPP-Net：面向帕累托最优神经架构的设备感知渐进搜索
计算机视觉与模式识别
2018-07-26 v2 机器学习
摘要
神经架构搜索（NAS）近期的突破在图像分类和语言建模等应用中取得了最先进的性能。然而，这些技术通常忽略与设备相关的目标，如推理时间、内存使用和功耗。针对设备相关目标优化神经架构对于在算力有限的便携式设备上部署深度网络极为关键。我们提出 DPP-Net：面向帕累托最优神经架构的设备感知渐进搜索，同时优化设备相关（如推理时间和内存使用）与设备无关（如准确率和模型大小）目标。DPP-Net 采用受当前最先进移动 CNN 启发的紧凑搜索空间，并通过采用渐进搜索（Liu et al. 2017）进一步提升搜索效率。在 CIFAR-10 上的实验结果旨在证明 DPP-Net 为三种不同设备找到的帕累托最优网络的有效性：（1）配备 Titan X GPU 的工作站，（2）NVIDIA Jetson TX1 嵌入式系统，（3）搭载 ARM Cortex-A53 的手机。与 CondenseNet 和 NASNet（Mobile）相比，DPP-Net 在各种设备上实现了更好的性能：更高的准确率和更短的推理时间。额外的实验结果表明，DPP-Net 找到的模型在 ImageNet 上也取得了相当好的性能。
引用
@article{arxiv.1806.08198,
title = {DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures},
author = {Jin-Dong Dong and An-Chieh Cheng and Da-Cheng Juan and Wei Wei and Min Sun},
journal= {arXiv preprint arXiv:1806.08198},
year = {2018}
}
备注
13 pages 9 figures, ECCV 2018 Camera Ready