NASH：面向乘法降低混合模型的神经网络架构与加速器搜索

乘法计算的高计算成本阻碍了深度神经网络 (DNN) 在边缘设备上的部署。虽然无乘法模型在硬件效率方面具有优势，但通常会牺牲准确率。作为解决方案，乘法降低的混合模型应运而生，将两者的优势结合起来。尤其，prior works 如 NASA 和 NASA-F 利用神经网络架构搜索 (NAS) 构建此类混合模型，在保持准确率的同时提升硬件效率。然而，它们要么需要高昂的重新训练成本，要么遇到梯度冲突，限制了搜索效率和准确率。此外，它们忽略了加速器搜索带来的提升潜力，导致硬件性能次优。为此，我们提出了 NASH 框架，即 Neural Architecture and Accelerator Search for multiplication-reduced Hybrid models。具体而言，对于 NAS，我们提出了一种量身定制的零样素 metric 来在训练前预识别有前景的混合模型，从而提升搜索效率并减轻梯度冲突。关于加速器搜索，我们创新性地引入了粗到细搜索以简化搜索过程。进一步，我们无缝集成这两级搜索，揭示 NASH，从而获得最优的模型和加速器组合。实验验证了我们的有效性，例如与最先进的乘法基系统相比，我们在 CIFAR-100 上的吞吐量提升 $2.14\times$，FPS 提升 $2.01\times$，准确率提升 $0.25\%$；在 Tiny-ImageNet 上的吞吐量提升 $1.40\times$，FPS 提升 $1.19\times$，准确率提升 $0.56\%$。代码已发布于 \url{https://github.com/xuyang527/NASH}。