基于 InnovizOne LiDAR 与低功耗 Hailo-8 AI 加速器的实时三维目标检测
计算机视觉与模式识别
2024-12-10 v1 人工智能
摘要
目标检测是自动驾驶中的重要领域。该任务的常用传感器包括相机和 LiDAR 传感器。LiDAR 传感器具有多项优势，例如对光照变化不敏感（如在暗光环境下），并能以点云形式提供三维信息，其中包含物体的距离。然而，三维检测方法（如 PointPillars）通常需要高功耗硬件。此外，大多数常见的旋转式 LiDAR 较为稀疏，可能无法达到期望的目标检测质量。本文展示了利用 LiDAR 传感器获取的三维点云，在低功耗 Hailo-8 AI 加速器上处理和部署以实现汽车实时三维目标检测的可行性。本研究中使用的 LiDAR 传感器是 InnovizOne 传感器，与旋转式 LiDAR 技术相比，它以更高的质量捕获物体，尤其是远距离物体。我们成功实现了约 5 Hz 的实时推理，F1 分数高达 0.91，与在 NVIDIA GeForce RTX 2080 Ti 上运行相同模型相比仅下降 0.2%。本工作表明，在低成本、低功耗硬件上实现有效的实时三维目标检测是可行的，代表了迈向更易获取的自动驾驶技术的重要一步。源代码和预训练模型可在 https://github.com/AIROTAU/PointPillarsHailoInnoviz/tree/main 获取。
引用
@article{arxiv.2412.05594,
title = {Real-Time 3D Object Detection Using InnovizOne LiDAR and Low-Power Hailo-8 AI Accelerator},
author = {Itay Krispin-Avraham and Roy Orfaig and Ben-Zion Bobrovsky},
journal= {arXiv preprint arXiv:2412.05594},
year = {2024}
}