DANCE：可微分加速器与网络协同探索

为应对深度神经网络（DNN）执行中日益增长的计算需求，近期的神经架构搜索（NAS）算法将硬件成本指标（如 GPU 延迟）纳入考量。为进一步实现快速、高效的执行，针对多种目的设计的 DNN 专用硬件加速器，其效率远超 GPU。然而，这些硬件相关指标已被证明与网络架构之间存在非线性关系。因此，针对加速器优化网络还是针对网络优化加速器，成了一个先有鸡还是先有蛋的问题。在此情形下，本工作提出 DANCE，一种面向硬件加速器与网络架构设计协同探索的可微分方法。DANCE 的核心是一个可微分评估器网络。通过将硬件评估软件建模为神经网络，加速器架构与硬件指标之间的关系变得可微分，从而允许利用反向传播进行搜索。与朴素的现有方法相比，我们的方法在显著更短的时间内完成协同探索，同时取得了更优的准确率和硬件成本指标。