自然视频动态的任务无关修复
计算机视觉与模式识别
2023-08-22 v2
摘要
在许多视频修复/转换任务中，图像处理操作被朴素地扩展到视频域，即独立处理每一帧，忽略了视频帧的时间关联。这种对时间关联的忽视常导致严重的时间不一致性。解决这些不一致性的前沿（SOTA）技术依赖于未处理视频的可用性，以隐式抽取并利用一致的视频动态来修复逐帧处理视频的时间一致性，而这往往会损害转换效果。我们提出了一种用于该任务的通用框架，其学习从不一致视频中推断并利用一致运动动态，以减轻时间闪烁，同时保持时间相邻和相对较远帧的感知质量，且在测试时不需要原始视频。所提框架在由众多图像处理应用处理的 DAVIS 和 videvo.net 两个基准数据集上取得了 SOTA 结果。代码和训练模型可在 \url{https://github.com/MKashifAli/TARONVD} 获取。
引用
@article{arxiv.2206.03753,
title = {Task Agnostic Restoration of Natural Video Dynamics},
author = {Muhammad Kashif Ali and Dongjin Kim and Tae Hyun Kim},
journal= {arXiv preprint arXiv:2206.03753},
year = {2023}
}