面向FPGA平台实时视觉里程计的硬件感知特征提取量化
计算机视觉与模式识别
2025-07-11 v1 图像与视频处理
摘要
精确的位置估计对于部署在自动驾驶平台（包括地面车辆、海洋船舶和无人机）上的现代导航系统至关重要。在此背景下，视觉同时定位与建图（VSLAM）——包含视觉里程计——严重依赖于从视觉输入数据中可靠地提取显著特征点。在本工作中，我们提出了一种能够检测和描述特征点的无监督架构的嵌入式实现。它基于量化的SuperPoint卷积神经网络。我们的目标是在保持高检测质量的同时最小化模型的计算需求，从而促进其在资源受限平台（如移动或嵌入式系统）上的高效部署。我们在FPGA片上系统（SoC）平台上实现了该解决方案，具体为AMD/Xilinx Zynq UltraScale+，其中我们评估了深度学习处理单元（DPU）的性能，并且我们还使用了Brevitas库和FINN框架来执行模型量化和硬件感知优化。这使我们能够在FPGA平台上以高达54 fps的速度处理640 x 480像素的图像，优于该领域现有的解决方案。我们在TUM数据集上进行了实验，以展示并讨论不同量化技术对视觉里程计任务中模型准确性和性能的影响。
引用
@article{arxiv.2507.07903,
title = {Hardware-Aware Feature Extraction Quantisation for Real-Time Visual Odometry on FPGA Platforms},
author = {Mateusz Wasala and Mateusz Smolarczyk and Michal Danilowicz and Tomasz Kryjak},
journal= {arXiv preprint arXiv:2507.07903},
year = {2025}
}
备注
Accepted for the DSD 2025 conference in Salerno, Italy