STeP：解决科学视频逆问题的基于时空扩散先验的框架
计算机视觉与模式识别
2025-06-11 v2
摘要
从时变测量重建时空一致的视频是许多科学领域的基本挑战。主要难点在于测量稀疏，导致难以准确恢复时间动态。现有基于图像扩散的方法依赖从测量中直接提取时序一致性，限制了其在高时空不确定性科学任务中的效果。我们通过提出一种包含学习时空扩散先验的即插即用框架来解决这一难题。由于其即插即用特性，本框架可灵活应用于不同的视频逆问题，无需针对特定任务进行设计或时序启发式方法。我们进一步证明，时空扩散模型可在有限视频数据上高效训练。我们在两个具有挑战性的科学视频重建任务上验证了该方法：黑洞视频重建和动态MRI。虽然基线方法难以提供时序一致的重建，但我们的做法显著改善了对底层真实视频时空结构的恢复。
引用
@article{arxiv.2504.07549,
title = {STeP: A Framework for Solving Scientific Video Inverse Problems with Spatiotemporal Diffusion Priors},
author = {Bingliang Zhang and Zihui Wu and Berthy T. Feng and Yang Song and Yisong Yue and Katherine L. Bouman},
journal= {arXiv preprint arXiv:2504.07549},
year = {2025}
}