一种用于跨模态加速神经架构搜索的硬件感知框架
机器学习
2022-05-24 v1 神经与进化计算
摘要
神经架构搜索（NAS）近期的进展，如一次性 NAS，提供了从特定任务的超网络中抽取专门的硬件感知子网络配置的能力。尽管在改进第一阶段即超网络训练方面已投入大量努力，但对衍生高性能子网络的搜索仍待深入探索。流行方法将超网络训练与子网络搜索解耦，并使用性能预测器来降低在不同硬件平台上搜索的计算负担。我们提出一个灵活的搜索框架，可自动且高效地找到针对不同的性能度量与硬件配置优化的子网络。具体而言，我们展示了如何将进化算法与轻量训练的目标预测器在迭代循环中配对，以在多目标设定下加速包括机器翻译与图像分类在内的多种模态的架构搜索。
引用
@article{arxiv.2205.10358,
title = {A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities},
author = {Daniel Cummings and Anthony Sarah and Sharath Nittur Sridhar and Maciej Szankin and Juan Pablo Munoz and Sairam Sundaresan},
journal= {arXiv preprint arXiv:2205.10358},
year = {2022}
}