DeepliteRT：边缘端计算机视觉
机器学习
2023-09-21 v1 计算机视觉与模式识别
摘要
边缘设备的激增为计算机视觉应用中深度学习模型的部署带来了前所未有的机遇。然而，这些复杂模型需要可观的功耗、内存和计算资源，而边缘平台通常不具备这些条件。超低比特量化通过将模型权重和激活从 32 位缩减至小于 8 位，为此问题提供了颇具吸引力的解决方案。我们为基于 ARM 的目标实现了高度优化的超低比特卷积算子，其性能超越现有方法达 4.34 倍。我们的算子实现于 Deeplite Runtime (DeepliteRT) 中，这是一个在 ARM 设备上编译、调优和推理超低比特模型的端到端解决方案。DeepliteRT 中的编译器流程自动将全精度的伪量化模型转换为紧凑的超低比特表示，简化了量化模型在商用硬件上的部署过程。我们针对优化的 32 位浮点、8 位整数和 2 位基线，在分类与检测模型上分析了 DeepliteRT 的性能，分别实现了高达 2.20x、2.33x 和 2.17x 的显著加速。
引用
@article{arxiv.2309.10878,
title = {DeepliteRT: Computer Vision at the Edge},
author = {Saad Ashfaq and Alexander Hoffman and Saptarshi Mitra and Sudhakar Sah and MohammadHossein AskariHemmat and Ehsan Saboori},
journal= {arXiv preprint arXiv:2309.10878},
year = {2023}
}
备注
Accepted at British Machine Vision Conference (BMVC) 2023