将胶囊网络从云端迁移至深度边缘端
机器学习
2024-04-09 v2 计算机视觉与模式识别
摘要
胶囊网络（CapsNets）是图像处理中的新兴趋势。与卷积神经网络不同，CapsNets 不易受目标形变影响，因为目标的相对空间信息在网络中得以保留。然而，其复杂度主要源于胶囊结构与动态路由机制，这使得以原始形式在由小型微控制器（MCU）供电的资源受限设备中部署 CapsNet 几乎不合理。在智能正从云端迅速转向边缘的时代，此种高复杂度对在最边缘端采用 CapsNets 提出了严峻挑战。为解决该问题，我们提出一个用于在 Arm Cortex-M 与 RISC-V MCU 中执行量化 CapsNets 的 API。我们的软件内核扩展了 Arm CMSIS-NN 与 RISC-V PULP-NN，以支持以 8 位整数作为操作数的胶囊运算。与此同时，我们提出一个对 CapsNet 进行训练后量化的框架。结果显示内存占用减少近 75%，精度损失介于 0.07% 至 0.18% 之间。在吞吐量方面，我们的 Arm Cortex-M API 使主胶囊层与胶囊层（中等大小内核）的执行分别仅需 119.94 与 90.60 毫秒（ms）（STM32H755ZIT6U，Cortex-M7 @ 480 MHz）。对于 GAP-8 SoC（RISC-V RV32IMCXpulp @ 170 MHz），延迟分别降至 7.02 与 38.03 ms。
引用
@article{arxiv.2110.02911,
title = {Shifting Capsule Networks from the Cloud to the Deep Edge},
author = {Miguel Costa and Diogo Costa and Tiago Gomes and Sandro Pinto},
journal= {arXiv preprint arXiv:2110.02911},
year = {2024}
}