EvPlug：学习一个即插即用的事件与图像融合模块
计算机视觉与模式识别
2023-12-29 v1 人工智能
摘要
事件相机和RGB相机在成像上具有互补特性：前者具有高动态范围(HDR)和高时间分辨率，后者提供丰富的纹理和颜色信息。这使得将事件相机集成到基于RGB的中高级视觉任务中非常有前景。然而，在多模态融合、数据标注和模型架构设计方面存在挑战。本文提出EvPlug，它从现有基于RGB模型的监督中学习一个即插即用的事件与图像融合模块。学习到的融合模块以插件形式将事件流与图像特征集成，使基于RGB模型对HDR和快速运动场景具有鲁棒性，同时实现高时间分辨率推理。我们的方法仅需要未标注的事件-图像对（无需像素级对齐），且不改变基于RGB模型的结构或权重。我们在多个视觉任务中展示了EvPlug的优越性，如目标检测、语义分割和3D手部姿态估计。
引用
@article{arxiv.2312.16933,
title = {EvPlug: Learn a Plug-and-Play Module for Event and Image Fusion},
author = {Jianping Jiang and Xinyu Zhou and Peiqi Duan and Boxin Shi},
journal= {arXiv preprint arXiv:2312.16933},
year = {2023}
}