重访基于颜色-事件的跟踪：统一网络、数据集与度量
计算机视觉与模式识别
2024-01-09 v2 人工智能
神经与进化计算
摘要
结合彩色相机与事件相机（亦称动态视觉传感器，DVS）进行鲁棒目标跟踪是近年来新兴的研究课题。现有颜色-事件跟踪框架通常包含多个分散模块，可能导致低效率与高计算复杂度，包括特征提取、融合、匹配、交互学习等。本文中，我们提出一种用于颜色-事件统一跟踪（CEUTrack）的单阶段骨干网络，可同时实现上述功能。给定事件点与 RGB 帧，我们首先将点转换为体素，并分别为两种模态裁剪模板与搜索区域。随后，这些区域被投影为 token 并并行送入统一的 Transformer 骨干网络。输出特征将被送入跟踪头以进行目标定位。我们提出的 CEUTrack 简洁、有效且高效，实现了超过 75 FPS 及新的 SOTA 性能。为更好验证模型有效性并解决该任务的数据匮乏问题，我们还提出了一种通用大规模颜色-事件跟踪基准数据集，称为 COESOT，包含 90 个类别与 1354 个视频序列。此外，我们的评估工具包中提出了一种名为 BOC 的新评估度量，用于评估相对于基线方法的优越性。我们希望新提出的方法、数据集与评估度量为基于颜色-事件的跟踪提供更好平台。数据集、工具包与源代码将发布于：\url{https://github.com/Event-AHU/COESOT}。
引用
@article{arxiv.2211.11010,
title = {Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric},
author = {Chuanming Tang and Xiao Wang and Ju Huang and Bo Jiang and Lin Zhu and Jianlin Zhang and Yaowei Wang and Yonghong Tian},
journal= {arXiv preprint arXiv:2211.11010},
year = {2024}
}
备注
In Peer Review