RHNAS：可实现的硬件与神经架构搜索
机器学习
2021-06-18 v1 硬件体系结构
神经与进化计算
摘要
人工智能这一快速发展领域需要自动化方法来协同设计神经网络架构与神经加速器，以最大化系统效率并应对生产力挑战。为实现对这一广阔空间的联合优化，可微分NN-HW协同设计正受到越来越多的关注。完全可微分的协同设计降低了发现优化NN-HW配置的资源需求，但未能适应通用硬件加速器搜索空间。这是由于许多硬件加速器的搜索空间中存在不可综合（无效）的设计。为实现对任意神经网络搜索空间的可配置硬件加速器的高效且可实现的协同设计，我们引入RHNAS。RHNAS是一种将用于硬件优化的强化学习与可微分神经架构搜索相结合的方法。相比默认硬件加速器设计，RHNAS在ImageNet上发现了延迟低1.84倍、能量延迟积（EDP）低1.86倍的NN-HW设计，在CIFAR-10上发现了延迟低2.81倍、EDP低3.30倍的设计。
引用
@article{arxiv.2106.09180,
title = {RHNAS: Realizable Hardware and Neural Architecture Search},
author = {Yash Akhauri and Adithya Niranjan and J. Pablo Muñoz and Suvadeep Banerjee and Abhijit Davare and Pasquale Cocchini and Anton A. Sorokin and Ravi Iyer and Nilesh Jain},
journal= {arXiv preprint arXiv:2106.09180},
year = {2021}
}
备注
15 pages