CoDeNet：在嵌入式 FPGA 上高效部署输入自适应目标检测
计算机视觉与模式识别
2021-01-27 v2 图像与视频处理
摘要
由于计算资源有限，在嵌入式系统上部署深度学习模型一直具有挑战性。现有工作大多聚焦于加速图像分类，而其他基础视觉问题（如目标检测）未得到充分解决。与图像分类相比，检测问题对目标的空域变化更敏感，因此需要专门的卷积来聚合空间信息。为满足这一需求，近期工作引入动态可变形卷积以增强常规卷积。然而，在现有硬件上这会导致对输入的内存访问低效。本工作中，我们利用 FPGA 的灵活性，开发了一种带有可变形卷积的新型目标检测流水线。我们展示了包括不规则访问与有限范围及固定形状在内的一组算法修改的速度-精度权衡。随后我们协同设计了一个带有改进可变形卷积的网络 CoDeNet，并将其量化为 4-bit 权重和 8-bit 激活。凭借高效实现，我们的方案以 0.76 MB 的微小模型大小达到 26.9 帧每秒，同时在标准目标检测数据集 Pascal VOC 上取得 61.7 AP50。在更高精度实现下，我们的模型在 Pascal VOC 上达到 67.1 AP50，参数仅 2.9 MB——比 Tiny-YOLO 小 20.9 倍但精度高 10%。
引用
@article{arxiv.2006.08357,
title = {CoDeNet: Efficient Deployment of Input-Adaptive Object Detection on Embedded FPGAs},
author = {Zhen Dong and Dequan Wang and Qijing Huang and Yizhao Gao and Yaohui Cai and Tian Li and Bichen Wu and Kurt Keutzer and John Wawrzynek},
journal= {arXiv preprint arXiv:2006.08357},
year = {2021}
}
备注
Github repo: https://github.com/DequanWang/CoDeNet arXiv:2002.08357 is the preliminary version of this paper