用于 RGBT 视频目标检测与统一基准的擦除式交互网络
计算机视觉与模式识别
2023-08-04 v1
摘要
近来，视频目标检测（VOD）领域取得诸多突破，但由于 RGB 传感器在恶劣光照条件下的成像局限，性能仍受限。为缓解此问题，本工作通过引入对恶劣光照条件不敏感的热模态，提出一种称为 RGB-热（RGBT）VOD 的新计算机视觉任务。为推动 RGBT VOD 的研究与开发，我们设计了一种新颖的擦除式交互网络（EINet），并为此任务建立了一个综合基准数据集（VT-VOD50）。传统 VOD 方法常利用许多辅助帧的时间信息，因而计算负担大。考虑到热图像比 RGB 图像表现出更少噪声，我们开发了一种负激活函数，借助热图像特征来擦除 RGB 特征的噪声。此外，借助热图像的优势，我们仅依赖小时间窗来建模时空信息，在保持检测精度的同时大幅提升效率。VT-VOD50 数据集由 50 对具有复杂背景、多种物体与不同光照的真实交通场景采集的挑战性 RGBT 视频序列组成。在 VT-VOD50 数据集上的大量实验证明了我们所提方法相对于现有主流 VOD 方法的有效性与高效性。EINet 的代码与数据集将公开发布供免费学术使用。
引用
@article{arxiv.2308.01630,
title = {Erasure-based Interaction Network for RGBT Video Object Detection and A Unified Benchmark},
author = {Zhengzheng Tu and Qishun Wang and Hongshun Wang and Kunpeng Wang and Chenglong Li},
journal= {arXiv preprint arXiv:2308.01630},
year = {2023}
}