ApproxDARTS：基于近似乘法器的可微神经架构搜索
机器学习
2025-10-23 v1
摘要
将近似计算原理集成到硬件感知深度神经网络（DNN）的设计中，使得 DNN 的实现展现出良好的输出质量以及高度优化的硬件参数，如低延迟或低推理能耗。在本工作中，我们提出了 ApproxDARTS，一种神经架构搜索（NAS）方法，使流行的可微神经架构搜索方法 DARTS 能够利用近似乘法器，从而降低生成神经网络的功耗。我们在 CIFAR-10 数据集上表明，ApproxDARTS 能够在不到 个 GPU 小时内完成完整的架构搜索，并生成包含近似乘法器的具有竞争力的卷积神经网络（CNN），其中近似乘法器位于卷积层中。例如，与使用原生 位浮点乘法器的 CNN 相比，ApproxDARTS 创建的 CNN 在推理阶段的算术运算中能耗降低了 (a) ；与使用精确 位定点乘法器的 CNN 相比，能耗降低了 (b) ，且在这两种情况下精度下降均可忽略不计。此外，ApproxDARTS 比一种类似但基于进化算法的方法 EvoApproxNAS 快 。
引用
@article{arxiv.2404.08002,
title = {ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers},
author = {Michal Pinos and Lukas Sekanina and Vojtech Mrazek},
journal= {arXiv preprint arXiv:2404.08002},
year = {2025}
}
备注
To appear at the IEEE World Congress on Computational Intelligence (IEEE WCCI 2024) at Yokohama, Japan, 30 June - 5 July 2024