基于 ROI 的视觉跟踪自适应子采样：算法与 FPGA 实现
计算机视觉与模式识别
2022-01-19 v2 硬件体系结构
摘要
通过在图像传感器设计中引入可编程感兴趣区域（ROI）读出，嵌入式视觉系统的能效存在巨大的提升空间。在本文中，我们研究如何利用 ROI 可编程性用于跟踪应用：通过预测 ROI 在未来帧中的位置并关闭该区域外的像素。我们将这种 ROI 预测与相应传感器配置的过程称为自适应子采样。我们的自适应子采样算法包含一个目标检测器与一个 ROI 预测器（卡尔曼滤波），二者协同工作，以在端任务为目标跟踪的情况下优化视觉流水线的能效。为了进一步促进我们的自适应算法在现实中的实现，我们选取了一种候选算法并将其映射至 FPGA 上。借助 Xilinx Vitis AI 工具，我们设计并加速了一种基于 YOLO 目标检测器的自适应子采样算法。为了进一步改进部署后的算法，我们在 OTB100 与 LaSOT 数据集上评估了若干竞争基线。我们发现，将 ECO 跟踪器与卡尔曼滤波耦合在 OTB100 与 LaSOT 数据集上分别取得了 0.4568 与 0.3471 的竞争性 AUC 分数。此外，该算法的能效与其他基线相当，且在少数情况下更优。基于 ECO 的算法在两个数据集上的平均功耗约为 4 W，而基于 YOLO 的方法所需功耗约为 6 W（依据我们的功耗模型）。在精度-延迟权衡方面，基于 ECO 的算法提供了近实时性能（19.23 FPS），同时维持了竞争性的跟踪精度。
引用
@article{arxiv.2112.09775,
title = {Adaptive Subsampling for ROI-based Visual Tracking: Algorithms and FPGA Implementation},
author = {Odrika Iqbal and Victor Isaac Torres Muro and Sameeksha Katoch and Andreas Spanias and Suren Jayasuriya},
journal= {arXiv preprint arXiv:2112.09775},
year = {2022}
}