UniFlowRestore:基于流匹配与提示引导的通用视频修复框架
计算机视觉与模式识别
2025-04-15 v1
摘要
视频图像常受到模糊、噪声和压缩伪影等复杂退化的影响。传统修复方法遵循“单任务单模型”范式,导致泛化性差、计算成本高,限制了其在面对多样化退化类型实际场景中的适用性。我们提出 UniFlowRestore,一个通用视频修复框架,将修复建模为受提示引导和物理信息驱动的向量场中的连续时间演化。物理感知主干网络 PhysicsUNet 将退化先验编码为势能,而 PromptGenerator 则生成与任务相关的提示作为动量。这些组件共同定义了哈密顿系统,其向量场整合了惯性动力学、衰减物理梯度和基于提示的引导。通过固定步长 ODE 求解器进行优化,实现跨任务的高效统一修复。实验表明,UniFlowRestore 在 diverse 下游任务上实现了领先的性能,展现出强大的泛化性和效率。定量结果显示,UniFlowRestore 在视频去噪任务上实现了最领先的性能,PSNR 达到 33.89 dB,SSIM 达到 0.97,同时在所有评估任务中保持最高或第二高的分数。
引用
@article{arxiv.2504.09069,
title = {UniFlowRestore: A General Video Restoration Framework via Flow Matching and Prompt Guidance},
author = {Shuning Sun and Yu Zhang and Chen Wu and Dianjie Lu and Dianjie Lu and Guijuan Zhan and Yang Weng and Zhuoran Zheng},
journal= {arXiv preprint arXiv:2504.09069},
year = {2025}
}