一种用于神经加速器快速且最优软硬件协同设计的半解耦方法

鉴于神经架构与加速器完全解耦设计的性能局限，软硬件协同设计已兴起，以充分利用灵活设计空间并优化神经网络性能。然而，这种协同设计也将总搜索空间扩大到近乎无限，并带来重大挑战。虽然先前研究集中于提升搜索效率（例如通过强化学习），但它们通常依赖于在整个架构-加速器设计空间上进行协同搜索。本文中，我们提出一种半解耦方法，将总设计空间规模降低数个数量级，同时不损失最优性。我们首先执行神经架构搜索，为一个加速器候选获得一小组最优架构。重要的是，基于以下性质——即神经架构在不同加速器设计上按推理延迟和能耗的排序高度相似——这也是其他加速器设计的（接近）最优架构集合。然后，我们不再考虑所有可能的架构，而是仅将该小组架构与加速器设计组合优化，从而显著降低总搜索成本。我们通过在不同数据流加速器设计的多种架构空间上实验验证了我们的方法。结果突显我们仅通过导航缩减后的搜索空间即可获得最优设计。本工作的源代码位于\url{https://github.com/Ren-Research/CoDesign}。