抗干扰物感知的基于事件的跟踪
计算机视觉与模式识别
2023-11-13 v3
摘要
事件相机，或称动态视觉传感器，近来从基础视觉任务到高层视觉研究均取得了成功。由于其异步捕获光强变化的能力，事件相机在包括低光照、高动态范围或快速运动物体等挑战性场景中捕捉运动物体具有先天优势。因此事件相机天然适用于视觉目标跟踪。然而，当前由 RGB 跟踪器衍生的基于事件的跟踪器仅将输入图像改为事件帧，并仍遵循主要关注物体纹理以区分目标的传统跟踪流程。结果，这些跟踪器在处理如运动相机与杂乱前景等挑战性场景时可能不够鲁棒。本文中，我们提出一种抗干扰物感知的基于事件的跟踪器，将 transformer 模块引入孪生网络架构（命名为 DANet）。具体而言，我们的模型主要由运动感知网络与目标感知网络组成，其同时利用事件数据中的运动线索与物体轮廓，从而发现运动物体并通过去除动态干扰物识别目标物体。我们的 DANet 可以端到端方式训练且无需任何后处理，并能在单块 V100 上以超过 80 FPS 运行。我们在两个大型事件跟踪数据集上进行了全面实验以验证所提模型。我们表明，我们的跟踪器在精度与效率上均优于当前最优（SOTA）跟踪器。
引用
@article{arxiv.2310.14194,
title = {Distractor-aware Event-based Tracking},
author = {Yingkai Fu and Meng Li and Wenxi Liu and Yuanchen Wang and Jiqing Zhang and Baocai Yin and Xiaopeng Wei and Xin Yang},
journal= {arXiv preprint arXiv:2310.14194},
year = {2023}
}