SONAR: 架构与系统优化联合搜索
机器学习
2022-08-26 v1
摘要
将机器学习部署到多种新硬件平台以执行不同任务的需求日益增长。此类部署场景需应对多重挑战,包括确定能达到合适预测精度的模型架构(架构搜索),以及寻找满足底层硬件特定系统约束(如延迟)的模型高效实现(系统优化搜索)。现有工作将架构搜索与系统优化搜索视为独立问题并顺序求解。本文中,我们改为联合求解这些问题,并引入一种简单而有效的基线方法 SONAR,其交错进行这两类搜索。SONAR 通过对两个搜索过程应用早停,旨在高效优化预测精度与推理延迟。我们在多个不同硬件后端上的实验表明,SONAR 识别近乎最优架构的速度比暴力搜索方法快 30 倍。
引用
@article{arxiv.2208.12218,
title = {SONAR: Joint Architecture and System Optimization Search},
author = {Elias Jääsaari and Michelle Ma and Ameet Talwalkar and Tianqi Chen},
journal= {arXiv preprint arXiv:2208.12218},
year = {2022}
}