面向现实退化的Snapshot压缩成像鲁棒恢复:超越重构
计算机视觉与模式识别
2026-03-17 v2
摘要
深度学习算法在视频Snapshot压缩成像(SCI)方面取得了很大成功,但它们主要关注从干净的测量结果进行重构。这忽略了一个关键的现实挑战:实际捕获的信号常常严重受到运动模糊和光照不足的退化。因此,现有的模型在实际应用中会失效。为突破这一限制,我们首次研究了鲁棒视频SCI恢复,将目标从“重构”推向“恢复”——从退化的测量结果中恢复出原始干净场景。为支持这一新任务,我们首先在DAVIS 2017数据集上模拟了真实的连续退化,构建了一个大规模基准测试。其次,我们提出了RobustSCI网络,增强了强大的编码器-解码器主干网络,引入了新的RobustCFormer模块。该模块引入两个平行分支——多尺度去模糊分支和频率增强分支——以在恢复过程中显式地分离和移除退化。此外,我们引入RobustSCI-C(RobustSCI-Cascade),集成了预训练的轻量级后处理去模糊网络,以最小的开销显著提升恢复性能。大量实验表明,我们的方法在新的退化测试环境中超越了所有SOTA模型,在真实世界的退化SCI数据上进行了额外的验证,证明了其实际有效性,将SCI从仅仅重构捕获的内容提升到恢复真实发生的事情。
关键词
引用
@article{arxiv.2603.07489,
title = {RobustSCI: Beyond Reconstruction to Restoration for Snapshot Compressive Imaging under Real-World Degradations},
author = {Hao Wang and Zhankuo Xu and Jiong Ni and Xing Liu and Haoyang Liu and Xin Yuan},
journal= {arXiv preprint arXiv:2603.07489},
year = {2026}
}