LiFT：面向FPGA平台的轻量级LiDAR数据3D目标检测
计算机视觉与模式识别
2025-01-22 v1 硬件体系结构
图像与视频处理
摘要
本文提出了LiFT，一种针对LiDAR数据的轻量级、全量化3D目标检测算法，针对FPGA平台上的实时推理进行优化。通过对FPGA特定限制的深入分析，我们识别出一组塑造算法设计的FPGA引发的约束，包括计算复杂度限制为30 GMAC（十亿次乘加运算）、权重和激活值的INT8量化、基于2D单元格的处理而非3D体素，以及最小化跳跃连接的使用。为满足这些约束并最大化性能，LiFT结合了创新机制与如可重参数化卷积和稀疏架构等最先进技术。关键创新包括双界柱形特征网络（Dual-bound Pillar Feature Net），可在不增加复杂度的前提下提升性能，以及输入特征的高效INT8量化方案。仅需20.73 GMAC的计算成本，使LiFT成为少数针对最小复杂度3D目标检测的算法之一。在可比方法中，LiFT位列第一，在具有挑战性的NuScenes验证数据集上实现了51.84%的mAP和61.01%的NDS。代码将在https://github.com/vision-agh/lift发布。
引用
@article{arxiv.2501.11159,
title = {LiFT: Lightweight, FPGA-tailored 3D object detection based on LiDAR data},
author = {Konrad Lis and Tomasz Kryjak and Marek Gorgon},
journal= {arXiv preprint arXiv:2501.11159},
year = {2025}
}
备注
The paper has been accepted for the DASIP 2025 workshop in conjunction with the HiPEAC 2025 conference in Barcelona