Efficiera 残差网络：实现 2 位激活的硬件友好型全二进制权重模型，在实际 ImageNet 准确率方面取得佳绩
计算机视觉与模式识别
2024-10-16 v1 机器学习
摘要
边缘设备环境施加了严苛的资源限制，涵盖计算成本、硬件资源使用以及能源消耗，对部署深度神经网络模型构成挑战。 ultra-low-bit 量化和硬件加速器已被探索作为解决此问题的有前景的方法。ultra-low-bit 量化显著降低模型规模和计算成本。尽管已有所进展，许多竞争性 ultra-low-bit 模型仍部分依赖浮点或非 ultra-low-bit 量化计算，如输入层和输出层。我们提出 Efficiera 残差网络 (ERNs)，针对低资源边缘设备进行优化。ERNs 实现了完全 ultra-low-bit 量化，所有权重（包括初始权重和输出层权重）均为二进制，激活值设置为 2 位。我们提出共享常数缩放因子技术，以在残差连接中实现整数运算，使模型在最终卷积层之前无需浮点值。证明其竞争性，ERNs 在 ResNet50 兼容架构下实现 ImageNet top-1 准确率为 72.5pt，规模小于 1MB 的模型实现 63.6pt。此外，ERNs 在成本效益高的 FPGA 设备上表现出色，最小模型推理速度达 300FPS，最大模型推理速度达 60FPS。
引用
@article{arxiv.2410.11553,
title = {Efficiera Residual Networks: Hardware-Friendly Fully Binary Weight with 2-bit Activation Model Achieves Practical ImageNet Accuracy},
author = {Shuntaro Takahashi and Takuya Wakisaka and Hiroyuki Tokunaga},
journal= {arXiv preprint arXiv:2410.11553},
year = {2024}
}
备注
11pages, 2 figures, the model implementation is available at https://github.com/LeapMind/ERN