基于深度即插即用先验的视频复原
图像与视频处理
2022-09-16 v2 计算机视觉与模式识别
机器学习
最优化与控制
摘要
本文提出了一种通过深度即插即用（PnP）方法复原数字视频的新方法。在贝叶斯框架下，该方法在交替优化方案中用深度卷积去噪网络替代先验的近端算子。我们与先前的PnP工作的区别在于直接将该方法应用于从退化的视频观测中复原数字视频。这样，一个为去噪训练一次的网络可被重新用于其他视频复原任务。我们在视频去模糊、超分辨率和随机缺失像素插值方面的实验均表明，使用专为视频去噪设计的网络有明显优势，因为在使用相同PnP公式且去噪性能相近的单图像网络对比下，它能产生更好的复原性能和更好的时间稳定性。此外，与在序列每一帧上分别应用不同的最先进PnP方案相比，我们的方法也更具优势。这为视频复原领域开辟了新前景。
引用
@article{arxiv.2209.02854,
title = {Video Restoration with a Deep Plug-and-Play Prior},
author = {Antoine Monod and Julie Delon and Matias Tassano and Andrés Almansa},
journal= {arXiv preprint arXiv:2209.02854},
year = {2022}
}
备注
10 pages + 4 pages supplementary; code at github.com/amonod/pnp-video