ClearSight:面向基于事件的运动去模糊的人类视觉启发方案
计算机视觉与模式识别
2025-06-27 v2
摘要
运动去模糊旨在解决因相机或场景运动导致的图像模糊问题。事件相机提供编码于异步事件流中的运动信息。为高效利用事件流的时间信息,本文采用基于脉冲神经网络(SNN)进行运动特征提取、基于人工神经网络(ANN)进行颜色信息处理。鉴于事件数据非均匀分布和内在冗余,现有跨模态特征融合方法存在局限性。受人类视觉系统中视觉注意机制启发,本研究引入一种受生物启发的双驱动混合网络(BDHNet)。具体而言,设计了神经元配置模块(NCM),以动态方式基于跨模态特征调整神经元配置,从而聚焦于模糊区域的脉冲并适应不同模糊场景。此外,引入模糊区域注意力模块(RBAM),以无监督方式生成模糊掩码,有效从事件特征中提取运动线索并引导更精确的跨模态特征融合。大量主观和客观评估表明,本方法在合成数据集和真实世界数据集上均优于当前最先进的方法。
引用
@article{arxiv.2501.15808,
title = {ClearSight: Human Vision-Inspired Solutions for Event-Based Motion Deblurring},
author = {Xiaopeng Lin and Yulong Huang and Hongwei Ren and Zunchang Liu and Yue Zhou and Haotian Fu and Bojun Cheng},
journal= {arXiv preprint arXiv:2501.15808},
year = {2025}
}
备注
Accepted by ICCV 2025