学习流引导配准用于RGB-事件语义分割
计算机视觉与模式识别
2025-09-26 v2
摘要
事件相机捕获微秒级的运动线索，补充了RGB传感器。然而，将RGB-事件感知视为融合问题的主流范式是不适定的，因为它忽略了与其他RGB-X传感领域不同的内在（i）时空和（ii）模态不对齐问题。为了解决这些局限性，我们将RGB-事件分割从融合重新定义为配准。我们提出了BRENet，一种新颖的流引导双向框架，自适应地匹配非对称模态之间的对应关系。具体来说，它利用时间对齐的光流作为粗粒度引导，结合细粒度的事件时间特征，生成精确的前向和后向像素配对以进行配准。这种配对机制将固有的运动滞后转化为由流估计误差控制的项，弥合了模态差距。此外，我们引入了运动增强事件张量（MET），这是一种新的表示形式，将稀疏的事件流转换为密集的、时间上连贯的形式。在四个大规模数据集上的大量实验验证了我们的方法，确立了流引导配准作为RGB-事件分割的一个有前景的方向。我们的代码可在以下地址获取：https://github.com/zyaocoder/BRENet。
引用
@article{arxiv.2505.01548,
title = {Learning Flow-Guided Registration for RGB-Event Semantic Segmentation},
author = {Zhen Yao and Xiaowen Ying and Zhiyu Zhu and Mooi Choo Chuah},
journal= {arXiv preprint arXiv:2505.01548},
year = {2025}
}
备注
20 pages, 14 figures