ShiftAddNAS：硬件启发的搜索以实现更精确高效的神经网络
机器学习
2025-03-04 v4 人工智能
摘要
具有密集乘法运算（例如卷积和 Transformer）的神经网络 (NN) 功能强大但功耗高，阻碍了它们在资源受限设备上的更广泛部署。因此，无乘法网络——遵循高能效硬件实现中的常见做法，使用更高效的算子（例如按位移位和加法）来参数化神经网络——已获得越来越多的关注。然而，无乘法网络在达到的精度方面通常不如其常规版本。为此，这项工作倡导混合神经网络，它由功能强大但代价高昂的乘法和高效但功能较弱的算子组成，以结合两者之长，并提出了 ShiftAddNAS，它可以自动搜索更精确、更高效的神经网络。我们的 ShiftAddNAS 突出了两个关键使能因素。具体来说，它集成了 (1) 第一个混合搜索空间，该空间同时包含基于乘法和无乘法的算子，以促进精确且高效的混合 NN 的开发；(2) 一种新颖的权重共享策略，该策略能够在遵循异构分布（例如，卷积的高斯分布与加法算子的拉普拉斯分布）的不同算子之间实现有效的权重共享，并同时大幅缩减超网规模，搜索出更好的网络。在各种模型、数据集和任务上的大量实验和消融研究一致验证了 ShiftAddNAS 的有效性，例如，与最先进的 NN 相比，精度最高提升 +7.7% 或 BLEU 分数提升 +4.9，同时分别节省高达 93% 或 69% 的能耗和延迟。代码和预训练模型可在 https://github.com/RICE-EIC/ShiftAddNAS 获取。
引用
@article{arxiv.2205.08119,
title = {ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks},
author = {Haoran You and Baopu Li and Huihong Shi and Yonggan Fu and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2205.08119},
year = {2025}
}
备注
Accepted by ICML 2022