视频快照压缩成像的简单低比特量化框架
计算机视觉与模式识别
2025-07-22 v2
摘要
视频快照压缩成像（SCI）旨在使用低速2D相机捕获高速场景作为快照压缩测量，随后通过重建算法重建高速视频帧。最先进的（SOTA）基于深度学习的方法已取得令人瞩目的性能，但计算负载沉重。网络量化是降低计算成本的有前景途径。然而，直接的低比特量化会带来较大的性能下降。为应对这一挑战，本文提出了一种简单的低比特量化框架（称为Q-SCI），用于端到端基于深度学习的视频SCI重建方法，该方法通常由特征提取、特征增强和视频重建模块组成。具体而言，我们首先设计了一个高质量的特征提取模块和一个精确的视频重建模块，以在低比特量化模型中提取和传播高质量特征。此外，为缓解量化特征增强模块中Transformer分支的信息失真，我们在查询和键分布上引入了一种移位操作，以进一步缩小性能差距。全面的实验结果表明，我们的Q-SCI框架可以实现优越性能，例如，由Q-SCI框架导出的4比特量化EfficientSCI-S理论上可将实值EfficientSCI-S加速7.8倍，在仿真测试数据集上仅产生2.3%的性能差距。代码可在https://github.com/mcao92/QuantizedSCI获取。
引用
@article{arxiv.2407.21517,
title = {A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging},
author = {Miao Cao and Lishun Wang and Huan Wang and Xin Yuan},
journal= {arXiv preprint arXiv:2407.21517},
year = {2025}
}
备注
18 pages, Accepted by ECCV 2024