面向资源受限边缘 AI 的复杂度驱动 CNN 压缩
机器学习
2024-01-18 v1 人工智能
网络与互联网体系结构
摘要
近期人工智能（AI）在物联网（IoT）赋能的网络边缘上的进展，通过实现低延迟与计算效率，在智慧农业、智慧医院与智慧工厂等若干应用中实现了边缘智能。然而，在资源受限的边缘设备上部署 VGG-16 与 ResNets 等 SOTA 卷积神经网络（CNN）因参数量与浮点运算（FLOPs）巨大而实际不可行。因此，作为模型压缩一种的网络剪枝概念正受到关注，用于在低功耗设备上加速 CNN。SOTA 剪枝方法（无论结构化或非结构化）未考虑卷积层所表现出的不同底层复杂度性质，并遵循训练-剪枝-重训练流程，导致额外计算开销。本工作中，我们利用 CNN 固有的层级复杂度，提出一种新颖且计算高效的剪枝流程。与典型方法不同，我们提出的复杂度驱动算法基于某层对整体网络复杂度的贡献来选取特定层进行滤波器剪枝。我们遵循直接训练剪枝后模型并避免计算复杂的排序与微调步骤的流程。此外，我们定义三种剪枝模式，即参数感知（PA）、FLOPs 感知（FA）与内存感知（MA），以引入 CNN 的多样化压缩。我们的结果显示该方法在精度与加速方面具竞争力。最后，我们给出不同资源与精度间的权衡，可帮助开发者在资源受限 IoT 环境中做出正确决策。
引用
@article{arxiv.2208.12816,
title = {Complexity-Driven CNN Compression for Resource-constrained Edge AI},
author = {Muhammad Zawish and Steven Davy and Lizy Abraham},
journal= {arXiv preprint arXiv:2208.12816},
year = {2024}
}