基于递归多分支融合的高效事件流超分辨率
计算机视觉与模式识别
2024-09-05 v1
摘要
当前的事件流超分辨率（ESR）方法忽略了正负事件中存在的冗余且互补的信息，采用直接混合方式进行超分辨率处理，可能导致细节丢失和效率低下。为解决此问题，我们提出一种高效的递归多分支信息融合网络（RMFNet），该网络将正负事件分离，以进行互补信息提取，随后进行相互补充与细化。特别地，我们引入特征融合模块（FFM）和特征交换模块（FEM）。FFM设计用于在相邻事件流之间融合上下文信息，利用正负事件之间的耦合关系，以缓解各分支噪声的误导。FEM高效促进正负分支之间信息的融合与交换，实现局部信息的优势增强和全局信息的互补。实验结果表明，我们的方法在合成数据集和真实数据集上分别实现了超过17%和31%的提升，并实现了2.3倍的加速。此外，我们在两个下游事件驱动应用（即目标识别和视频重建）上进行了评估，取得了显著的成绩，优于现有方法。我们的代码和补充材料已提供，链接为 https://github.com/Lqm26/RMFNet。
引用
@article{arxiv.2406.19640,
title = {Efficient Event Stream Super-Resolution with Recursive Multi-Branch Fusion},
author = {Quanmin Liang and Zhilin Huang and Xiawu Zheng and Feidiao Yang and Jun Peng and Kai Huang and Yonghong Tian},
journal= {arXiv preprint arXiv:2406.19640},
year = {2024}
}