HELP：基于元学习的硬件自适应高效时延预测用于神经架构搜索
机器学习
2021-12-03 v3
摘要
为便于部署，神经架构搜索应具备硬件感知能力，以满足设备特定约束（如内存占用、时延和能耗）并提升模型效率。现有硬件感知 NAS 方法从目标设备收集大量样本（如精度和时延），要么构建查找表要么构建时延估计器。然而，该方法在真实场景中不切实际，因为存在大量具有不同硬件规格的设备，而从如此多设备收集样本将需要难以承受的计算与金钱成本。为克服这些局限，我们提出硬件自适应高效时延预测器（HELP），将设备特定时延估计问题表述为元学习问题，从而能用少量样本估计某模型在未见设备上面向给定任务的性能时延。为此，我们引入新型硬件嵌入，将任意设备视为输出时延的黑盒函数进行嵌入，并利用硬件嵌入以设备相关的方式元学习硬件自适应时延预测器。我们在未见平台上验证了所提 HELP 的时延估计性能，其仅用少至 10 个测量样本即达到高估计性能，优于所有相关基线。我们还将使用 HELP 的端到端 NAS 框架与不使用它的框架对比，表明在时延约束设定下其大幅降低了基础 NAS 方法的总时间成本。代码见 https://github.com/HayeonLee/HELP。
引用
@article{arxiv.2106.08630,
title = {HELP: Hardware-Adaptive Efficient Latency Prediction for NAS via Meta-Learning},
author = {Hayeon Lee and Sewoong Lee and Song Chong and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2106.08630},
year = {2021}
}
备注
NeurIPS 2021 (Spotlight)