面向移动设备的实时视频压缩感知
计算机视觉与模式识别
2024-08-15 v1
摘要
视频快照压缩成像（SCI）使用低速 2D 相机捕获高速场景作为快照压缩测量，随后通过重建算法恢复高速视频帧。快速发展的移动设备和现有高性能视频 SCI 重建算法促使我们开发用于实际应用的移动重建方法。然而，由于推理过程复杂，部署在移动设备上的重建算法仍具有挑战性，更不用说实现实时移动重建了。据我们了解，目前没有针对移动设备设计的视频 SCI 重建模型。在此基础上，本文提出了一种有效的方法用于视频 SCI 重建，称为 MobileSCI，首次可以在移动设备上实现实时速度。具体而言，我们首先构建了一个基于 2D 卷积的 U 型架构，比以前的领先重建方法更高效且更适合移动设备。此外，我们引入了一个基于通道分割和混合机制的高效特征混合模块，作为我们所提出 MobileSCI 的新型瓶颈模块，以减轻计算负担。最后，利用定制的知识蒸馏策略进一步提高重建质量。在模拟数据和真实数据上的大量实验结果表明，我们所提出的 MobileSCI 能在移动设备上以卓越的效率实现优异的重建质量。特别地，我们可以在 iPhone 15 上以约 35 FPS 的实时性能重建一个 256×256×8 的快照压缩测量。代码已公开 https://github.com/mcao92/MobileSCI
引用
@article{arxiv.2408.07530,
title = {Towards Real-time Video Compressive Sensing on Mobile Devices},
author = {Miao Cao and Lishun Wang and Huan Wang and Guoqing Wang and Xin Yuan},
journal= {arXiv preprint arXiv:2408.07530},
year = {2024}
}
备注
9 pages, Accepted by ACM MM 2024