单代理设备足以实现硬件感知神经架构搜索
摘要
卷积神经网络（CNNs）被用于众多现实世界应用，如基于视觉的自动驾驶和视频内容分析。为在各种目标设备上运行 CNN 推理，硬件感知神经架构搜索（NAS）至关重要。高效硬件感知 NAS 的一个关键要求是快速评估推理延迟，以便对不同架构进行排序。虽然为每台目标设备构建延迟预测器已成为最先进方法的常见做法，但这是一个非常耗时的过程，在设备极其多样化时缺乏可扩展性。在这项工作中，我们通过利用延迟单调性——不同设备上的架构延迟排序通常相关——来解决可扩展性挑战。当存在强延迟单调性时，我们可以在新目标设备上复用为某一代理设备搜索得到的架构，且不损失最优性。在缺乏强延迟单调性的情况下，我们提出一种高效的代理适配技术来显著提升延迟单调性。最后，我们在多个主流搜索空间（包括 MobileNet-V2、MobileNet-V3、NAS-Bench-201、ProxylessNAS 和 FBNet）上用不同平台的设备验证了我们的方法并开展实验。我们的结果强调，仅使用一台代理设备，我们就能找到与现有逐设备 NAS 几乎相同的帕累托最优架构，同时避免了为每台设备构建延迟预测器的过高代价。GitHub: https://github.com/Ren-Research/OneProxy
引用
@article{arxiv.2111.01203,
title = {One Proxy Device Is Enough for Hardware-Aware Neural Architecture Search},
author = {Bingqian Lu and Jianyi Yang and Weiwen Jiang and Yiyu Shi and Shaolei Ren},
journal= {arXiv preprint arXiv:2111.01203},
year = {2021}
}
备注
Accepted by the ACM SIGMETRICS 2022. Published in the Proceedings of the ACM on Measurement and Analysis of Computing Systems, vol. 5, no. 3, Article 34, December 2021. GitHub: https://github.com/Ren-Research/OneProxy