迈向基于原始数据的准确且时间一致的视频复原
计算机视觉与模式识别
2023-12-29 v1 图像与视频处理
摘要
去噪和去马赛克是从原始数据重建干净全彩视频的两个基本步骤，而联合执行视频去噪和去马赛克（即 VJDD）相比分别执行能带来更好的视频复原性能。除了复原精度外，VJDD 的另一个关键挑战在于连续帧之间的时间一致性。当引入感知正则化项以增强视频感知质量时，这一问题会进一步加剧。为应对这些挑战，我们提出了一种新的 VJDD 框架，通过一致且准确的潜在空间传播，利用前一帧的估计作为先验知识，以确保当前帧的一致性复原。相应地，我们设计了数据时间一致性（DTC）损失和关系感知一致性（RPC）损失。与常用的基于光流的损失相比，所提出的损失能够避免因光流估计不准确导致的误差累积问题，并有效处理视频中的强度变化，在保留纹理细节的同时显著提高了输出视频的时间一致性。大量实验表明，我们的方法在复原精度、感知质量和时间一致性方面均取得了领先的 VJDD 性能。代码和数据集见：\url{https://github.com/GuoShi28/VJDD}。
引用
@article{arxiv.2312.16247,
title = {Toward Accurate and Temporally Consistent Video Restoration from Raw Data},
author = {Shi Guo and Jianqi Ma and Xi Yang and Zhengqiang Zhang and Lei Zhang},
journal= {arXiv preprint arXiv:2312.16247},
year = {2023}
}