面向多样预算的帕累托前沿感知神经架构生成
机器学习
2021-03-02 v1
摘要
在不同应用/设备所带来的多样计算预算下设计可行且高效的架构，对于深度模型的实际部署至关重要。现有方法通常针对每个目标预算执行独立的架构搜索，效率低下且毫无必要。此外，这种重复的独立搜索方式不可避免地忽略不同搜索过程间的共性知识，并损害搜索性能。为解决这些问题，我们致力于训练一个通用架构生成器，仅通过模型推理即可为任意预算自动生成高效架构。为此，我们提出帕累托前沿感知神经架构生成器（NAG），其以任意预算为输入并产出该目标预算下的帕累托最优架构。我们通过学习模型性能与计算成本（如延迟）上的帕累托前沿（即帕累托最优架构集合）来训练 NAG。在三个平台（即移动端、CPU 和 GPU）上的大量实验表明了所提方法相对于现有 NAS 方法的优越性。
引用
@article{arxiv.2103.00219,
title = {Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets},
author = {Yong Guo and Yaofo Chen and Yin Zheng and Qi Chen and Peilin Zhao and Jian Chen and Junzhou Huang and Mingkui Tan},
journal= {arXiv preprint arXiv:2103.00219},
year = {2021}
}
备注
8 pages