EfficientSCI：用于大规模视频快照压缩成像的密集连接与时空分解网络
计算机视觉与模式识别
2023-05-19 v2 计算与语言
图像与视频处理
摘要
视频快照压缩成像（SCI）利用二维探测器在单次曝光时间内捕获连续视频帧。此后，需要设计高效的重建算法以重建所需视频帧。尽管近期基于深度学习的最优（SOTA）重建算法在大多数任务中已取得良好结果，但由于模型复杂度过高与GPU内存限制，它们仍面临以下挑战：1）这些模型需要高昂计算代价；2）它们通常无法在高压缩比下重建大规模视频帧。为解决这些问题，我们利用单个残差块内的密集连接与时空分解机制，开发了用于视频SCI的高效网络，称为EfficientSCI。EfficientSCI网络可分别通过在空间域使用卷积、在时间域使用Transformer良好建立时空相关性。我们首次表明，利用单一端到端深度学习模型可从快照二维测量中重建出高压缩比的超高清彩色视频，且PSNR高于32 dB。在仿真与真实数据上的大量结果表明，我们的方法以更优的实时性能显著优于所有先前的SOTA算法。代码见https://github.com/ucaswangls/EfficientSCI.git。
引用
@article{arxiv.2305.10006,
title = {EfficientSCI: Densely Connected Network with Space-time Factorization for Large-scale Video Snapshot Compressive Imaging},
author = {Lishun Wang and Miao Cao and Xin Yuan},
journal= {arXiv preprint arXiv:2305.10006},
year = {2023}
}