TOFFE -- 用于高速高能效目标检测与跟踪的基于事件的时间分箱目标流
计算机视觉与模式识别
2025-01-23 v1 新兴技术
机器学习
神经与进化计算
机器人学
摘要
目标检测与跟踪是使机器人系统实现完全自主导航的一项基本感知任务。小型无人机等边缘机器人系统需要在资源有限的情况下高速执行复杂机动，这对底层算法和硬件施加了严格的约束。传统上，基于帧的相机因其丰富的空间信息和简化的同步感知能力而被用于基于视觉的感知。然而，跨帧获取详细信息会带来高能耗，并且可能并非必需。此外，它们较低的时间分辨率使其在高速运动场景中效果不佳。事件相机提供了一种受生物启发的解决方案，通过以极高的时间分辨率和低功耗仅捕获强度级的变化，使其成为高速运动场景的理想选择。然而，它们的异步和稀疏输出并不天然适用于传统的深度学习方法。在这项工作中，我们提出了 TOFFE，一个轻量级混合框架，用于执行基于事件的目标运动估计（包括姿态、方向和速度估计），称为目标流。TOFFE 集成了受生物启发的脉冲神经网络 (SNNs) 和传统的模拟神经网络 (ANNs)，以高效处理高时间分辨率的事件，同时易于训练。此外，我们提出了一个新颖的基于事件的合成数据集，涉及高速目标运动，用于训练 TOFFE。我们的实验结果表明，与先前的基于事件的目标检测基线相比，TOFFE 在边缘 GPU (Jetson TX2) / 混合硬件 (Loihi-2 和 Jetson TX2) 上实现了 5.7 倍/8.3 倍的能耗降低和 4.6 倍/5.8 倍的延迟降低。
引用
@article{arxiv.2501.12482,
title = {TOFFE -- Temporally-binned Object Flow from Events for High-speed and Energy-Efficient Object Detection and Tracking},
author = {Adarsh Kumar Kosta and Amogh Joshi and Arjun Roy and Rohan Kumar Manna and Manish Nagaraj and Kaushik Roy},
journal= {arXiv preprint arXiv:2501.12482},
year = {2025}
}
备注
8 pages, 6 figures, 4 tables