基于互补视觉传感器的时空差分引导运动去模糊
计算机视觉与模式识别
2026-04-14 v1
摘要
当快速场景变化在曝光期间发生时，运动模糊会将丰富的曝光内运动压缩到单个 RGB 帧中。由于缺乏显式的结构或时间线索，仅依靠 RGB 进行去模糊 severely ill-posed，往往在极端运动下会失败。受人类视觉系统的启发，脑类视觉传感器引入密集的时间信息以缓解这一问题。然而，事件相机在快速运动下仍会 suffer from 事件速率饱和，同时事件模态会将边缘特征和运动线索 entangled，从而限制其有效性。作为最新突破，互补视觉传感器（CVS，Tianmouc）在单个 RGB 曝光内捕获同步的 RGB 帧，以及高帧率的多位空间差分（SD，编码结构边缘）和时间差分（TD，编码运动线索）数据，为 RGB 在极端动态场景下的去模糊提供了有前景的解决方案。为充分利用这些互补模态，我们提出时空差分引导去模糊网络（STGDNet），采用递归多分支架构迭代编码和融合 SD 和 TD 序列，以恢复模糊 RGB 输入中丢失的结构和颜色细节。我们的方法在合成 CVS 数据集和真实场景评估中均优于当前的 RGB 或基于事件的方法。此外，STGDNet 在超过 100 种极端真实场景中展现出强大的泛化能力。项目页面: https://tmcDeblur.github.io/
引用
@article{arxiv.2604.10554,
title = {Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor},
author = {Yapeng Meng and Lin Yang and Yuguo Chen and Xiangru Chen and Taoyi Wang and Lijian Wang and Zheyu Yang and Yihan Lin and Rong Zhao},
journal= {arXiv preprint arXiv:2604.10554},
year = {2026}
}