面向多样计算预算的帕累托感知神经架构生成
机器学习
2022-10-17 v1 计算机视觉与模式识别
摘要
在不同应用/设备所导致的多样计算预算下设计可行且有效的架构，对于在真实世界应用中部署深度模型至关重要。为实现这一目标，现有方法通常针对每个目标预算执行独立的架构搜索过程，这非常低效且没有必要。更关键的是，这些独立的搜索过程无法相互共享其学到的知识（即良好架构的分布），因而往往导致有限的搜索结果。为解决这些问题，我们提出了一种帕累托感知神经架构生成器(PNAG)，它只需训练一次，并通过推理为任意给定预算动态生成帕累托最优架构。为训练我们的 PNAG，我们通过联合寻找多样预算下的多个帕累托最优架构来学习整个帕累托前沿。这种联合搜索算法不仅大幅降低了总体搜索成本，还改善了搜索结果。在三个硬件平台（即移动设备、CPU 和 GPU）上的大量实验显示了我们的方法相对于现有方法的优越性。
引用
@article{arxiv.2210.07634,
title = {Pareto-aware Neural Architecture Generation for Diverse Computational Budgets},
author = {Yong Guo and Yaofo Chen and Yin Zheng and Qi Chen and Peilin Zhao and Jian Chen and Junzhou Huang and Mingkui Tan},
journal= {arXiv preprint arXiv:2210.07634},
year = {2022}
}
备注
11 pages, 7 figures, journal version