中文

RED:基于模态特异性解�合的鲁棒事件导向运动去模糊

计算机视觉与模式识别 2026-03-09 v3 信息检索

摘要

事件导向运动去模糊利用事件相机的高时间分辨率运动线索来重建清晰图像。然而,在实际捕获过程中,阈值导致的事件欠报告会造成运动线索的缺失和碎片化,而现有方法在此类情况下常表现下降,原因在于两个局限性:i) 假设运动事件稠密且稳定,ii) 采用模态无关的提取与融合方式,无法区分有用运动线索与被干扰的事件,导致其污染跨模态表征。在本文中,我们首先引入鲁棒性导向扰动策略(Robustness-Oriented Perturbation Strategy, RPS),模拟动态视觉传感器的各种触发阈值,使模型暴露于多样化的欠报告模式中,从而提高其在未知条件下的鲁棒性。基于此设定,我们提出 RED(Robust Event-guided Deblurring),遵循先解�合后选择性融合的原则。具体而言,模块化表征机制(Modality-specific Representation Mechanism)将输入解�合为图像语义、事件运动和跨模态表征,分别捕获外观、运动及互补互动。凭借可靠的解�合特征,我们选择性融合模态,以增强模糊图像中运动敏感区域的表征,并丰富欠报告的事件的语义上下文。广泛的在合成数据和真实世界数据集上的实验表明,RED 在准确性和鲁棒性方面始终实现了最先进(SOTA)的性能。

引用

@article{arxiv.2509.05554,
  title  = {RED: Robust Event-Guided Motion Deblurring with Modality-Specific Disentanglement},
  author = {Yihong Leng and Siming Zheng and Jinwei Chen and Bo Li and Jiaojiao Li and Peng-Tao Jiang},
  journal= {arXiv preprint arXiv:2509.05554},
  year   = {2026}
}