InstantViR：基于蒸馏扩散先验的实时视频逆问题求解器
计算机视觉与模式识别
2025-11-25 v2
摘要
视频逆问题是流式传输、远程协作和 AR/VR 中的核心问题，要求在感知质量与延迟约束之间取得平衡。当前基于扩散的先验方法虽然实现了最先进的重建效果，但要么是将图像扩散模型加以改造并引入 ad hoc 时序正则化，导致时序伪影；要么是依赖原生视频扩散模型，其迭代后验采样对实时性远不友好。我们提出 InstantViR，一个基于预训练视频扩散先验的超快速视频重建的 amortization 推理框架。我们将强大的双向视频扩散模型（教师模型）蒸馏到因果自回归学生模型中，学生模型在单次前向传播中即可将退化视频直接映射到恢复后的视频，旁继承教师模型的强时序建模能力，同时完全消除迭代测试时优化过程。蒸馏过程仅依赖教师扩散模型和已知的退化算子，无需外部成对的干净/噪声视频数据。为进一步提升吞吐量，我们通过一种创新的教师空间正则化蒸馏方案，将视频扩散主干 VAE 替换为高效能 LeanVAE，实现低延迟的潜在空间处理。涵盖流式随机遮挡、高斯去模糊和超分辨率等任务，InstantViR 在 NVIDIA A100 GPU 上实现 35+ FPS，相较于迭代式视频扩散求解器最高可达百倍的加速，同时在重建质量上匹配或超越扩散基线方法。这些结果表明，基于扩散的视频重建已可实现实时、交互式、可编辑的流式场景，使高质量视频恢复成为现代视觉系统的实用组件。
引用
@article{arxiv.2511.14208,
title = {InstantViR: Real-Time Video Inverse Problem Solver with Distilled Diffusion Prior},
author = {Weimin Bai and Suzhe Xu and Yiwei Ren and Jinhua Hao and Ming Sun and Wenzheng Chen and He Sun},
journal= {arXiv preprint arXiv:2511.14208},
year = {2025}
}