VisEvent：基于帧流与事件流协作的可靠目标跟踪
计算机视觉与模式识别
2023-09-22 v4 人工智能
摘要
与逐帧记录强度图像的可见光相机不同，受生物启发的事件相机以低得多的延迟产生异步稀疏事件流。在实践中，可见光相机能更好地感知纹理细节与慢速运动，而事件相机可避免运动模糊并具有更大的动态范围，使其能在快速运动与低光照下良好工作。因此，这两种传感器可相互协作以实现更可靠的目标跟踪。本工作中，由于该任务缺乏真实且大规模的 dataset，我们提出了大规模可见光-事件基准（称为VisEvent）。我们的数据集包含在低光照、高速和背景杂波场景下捕获的820对视频，并划分为训练与测试子集，分别含有500和320段视频。基于VisEvent，我们将事件流转换为事件图像，并通过将当前单模态跟踪器扩展为双模态版本构建了30余种基线方法。更重要的是，我们进一步通过提出跨模态transformer构建了一个简单而有效的跟踪算法，以实现可见光与事件数据间更有效的特征融合。在提出的VisEvent数据集、FE108、COESOT以及两个仿真数据集（即OTB-DVS和VOT-DVS）上的大量实验验证了我们模型的有效性。数据集与源代码已发布于：\url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}。
引用
@article{arxiv.2108.05015,
title = {VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows},
author = {Xiao Wang and Jianing Li and Lin Zhu and Zhipeng Zhang and Zhe Chen and Xin Li and Yaowei Wang and Yonghong Tian and Feng Wu},
journal= {arXiv preprint arXiv:2108.05015},
year = {2023}
}
备注
Accepted by IEEE Transactions on Cybernetics