面向硬件感知高效模块设计的算术强度均衡卷积
机器学习
2023-04-11 v1 硬件体系结构
计算机视觉与模式识别
摘要
随着深度学习的进步，边缘设备与轻量级神经网络正变得愈发重要。为降低AI加速器的延迟，不仅需减少FLOPs，还需提升硬件性能。我们提出算术强度均衡卷积（ABConv），以解决整体强度受限于小空间尺寸卷积中较小权重算术强度的问题。ABConv提升了整体算术强度的最大上限，并在不牺牲精度的情况下显著降低了延迟。我们在Arm Ethos-U65 NPU上以多种配置测试了ABConv的延迟与硬件性能，并用其替换MobileNetV1和ResNet50中的部分结构用于CIFAR100图像分类。
引用
@article{arxiv.2304.04016,
title = {Arithmetic Intensity Balancing Convolution for Hardware-aware Efficient Block Design},
author = {Shinkook Choi and Junkyeong Choi},
journal= {arXiv preprint arXiv:2304.04016},
year = {2023}
}
备注
Accepted paper at the On-Device Intelligence Workshop in conjunction with MLSys Conference 2023