MambaSCI：用于四拜耳模式视频快照压缩成像的高效Mamba-UNet

彩色视频快照压缩成像（SCI）利用计算成像技术，在单次拜耳模式测量中捕获多个连续视频帧。随着四拜耳模式在主流智能手机相机中用于拍摄高分辨率视频的日益普及，移动摄影已变得更为大众化。然而，现有的彩色视频SCI重建算法是基于传统拜耳模式设计的。当应用于四拜耳相机拍摄的视频时，这些算法常常导致色彩失真和去马赛克效果不佳，使其无法在主设备上实际应用。为应对这一挑战，我们提出了MambaSCI方法，该方法利用Mamba和UNet架构高效重建四拜耳模式彩色视频SCI。据我们所知，我们的工作提出了首个用于四拜耳模式SCI重建的算法，也是Mamba模型在该任务中的首次应用。具体而言，我们定制了残差Mamba块（Residual-Mamba-Blocks），该模块残差连接了时空Mamba（STMamba）、边缘细节重建（EDR）模块和通道注意力（CA）模块。其中，STMamba用于以线性复杂度建模长程时空依赖关系，EDR用于更好的边缘细节重建，CA用于补偿Mamba模型中缺失的通道信息交互。实验表明，MambaSCI以更低的计算和内存成本超越了现有最先进方法。核心模块的PyTorch风格伪代码见补充材料。