未训练神经网络在快照压缩成像中的应用：理论与算法
计算机视觉与模式识别
2024-06-07 v1 信息论
math.IT
摘要
快照压缩成像（SCI）通过单张二维测量图像恢复高维（三维）数据立方，使视频成像和高光谱成像等应用在获取速度和效率方面超越传统技术。本文聚焦于采用未训练神经网络（UNN）（如深度图像先验DIP）来建模源结构的SCI恢复算法。此类UNN方法因无需针对不同源模型和不同测量场景进行计算密集型 retraining 而具有潜在优势。我们首先构建理论框架来刻画此类UNN方法的性能。该理论框架一方面使我们能够优化数据调制掩码的参数，另一方面在未训练神经网络的参数与可从单次测量中恢复的数据帧数之间提供了根本性联系。我们还运用近期提出的集成深度图像先验（bagged-DIP）思想，开发SCI集成深度视频先验（SCI-BDVP）算法，以解决标准UNN方案所面临的常见挑战。实验结果表明，在视频SCI中，我们的方法在UNN方法中实现了最新进展；在噪声测量情况下，甚至超过了监督方案。
引用
@article{arxiv.2406.03694,
title = {Untrained Neural Nets for Snapshot Compressive Imaging: Theory and Algorithms},
author = {Mengyu Zhao and Xi Chen and Xin Yuan and Shirin Jalali},
journal= {arXiv preprint arXiv:2406.03694},
year = {2024}
}