AdderNet及其面向高能效人工智能的极简硬件设计
机器学习
2021-02-04 v2 硬件体系结构
计算机视觉与模式识别
摘要
卷积神经网络(CNN)已被广泛用于提升许多机器智能任务的性能。然而,出于精度考虑,CNN模型通常设计有大量乘法操作和可观的参数,因此计算密集且能耗高。因而难以直接将其应用于物联网(IoT)设备和智能手机等资源受限环境。为降低计算复杂度和能耗负担,本文提出一种使用加法卷积神经网络(AdderNet)的新型极简硬件架构,其中原始卷积被仅使用加法的加法核所替代。为最大程度挖掘能耗潜力,我们探索了采用共享缩放因子方法的AdderNet低比特量化算法,并设计了针对AdderNet的专用与通用硬件加速器。实验结果表明,int8/int16量化的加法核同样表现出高性能,同时消耗资源大幅减少(理论上约降低81%)。此外,我们将量化后的AdderNet部署于FPGA(现场可编程门阵列)平台。在相同电路架构下,整个AdderNet相比CNN实际可实现速度提升16%、逻辑资源利用率降低67.6%-71.4%、功耗降低47.85%-77.9%。通过对性能、功耗、硬件资源消耗及网络泛化能力的综合比较,我们得出结论:AdderNet能够超越包括经典CNN、新型忆阻器网络、XNOR-Net和基于移位核的网络在内的所有其他竞争者,表明其在未来高性能与高能效人工智能应用中具有巨大潜力。
引用
@article{arxiv.2101.10015,
title = {AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence},
author = {Yunhe Wang and Mingqiang Huang and Kai Han and Hanting Chen and Wei Zhang and Chunjing Xu and Dacheng Tao},
journal= {arXiv preprint arXiv:2101.10015},
year = {2021}
}