事件辅助的低光照视频目标分割
计算机视觉与模式识别
2024-04-03 v1
摘要
在视频目标分割 (VOS) 领域，低光照条件下的操作挑战持续存在，导致图像质量显著下降，并在比较查询帧和记忆帧以进行相似度计算时损害了准确性。事件相机以其高动态范围和捕获物体运动信息的能力为特征，在增强物体可见性并在此类低光照条件下辅助 VOS 方法方面展现出前景。本文引入了一个为低光照 VOS 量身定制的开创性框架，利用事件相机数据来提升分割精度。我们的方法依赖于两个关键组件：自适应跨模态融合 (ACMF) 模块，旨在提取相关特征同时融合图像和事件模态以减轻噪声干扰；以及事件引导记忆匹配 (EGMM) 模块，旨在纠正低光照环境中普遍存在的不准确匹配问题。此外，我们提出了合成 LLE-DAVIS 数据集的创建和真实世界 LLE-VOS 数据集的整理，包含帧和事件。实验评估证实了我们的方法在两个数据集上的有效性，肯定了其在低光照场景中的有效性。
引用
@article{arxiv.2404.01945,
title = {Event-assisted Low-Light Video Object Segmentation},
author = {Hebei Li and Jin Wang and Jiahui Yuan and Yue Li and Wenming Weng and Yansong Peng and Yueyi Zhang and Zhiwei Xiong and Xiaoyan Sun},
journal= {arXiv preprint arXiv:2404.01945},
year = {2024}
}
备注
CVPR 2024