基于分组时空偏移的视频复原简单基线
图像与视频处理
2023-05-23 v2 计算机视觉与模式识别
摘要
视频复原旨在从退化视频中恢复清晰帧，具有众多重要应用。视频复原的关键在于利用帧间信息。然而，现有的深度学习方法往往依赖复杂的网络架构，如光流估计、可变形卷积与跨帧自注意力层，导致高昂的计算成本。在本研究中，我们提出了一种简单而有效的视频复原框架。我们的方法基于分组时空偏移，这是一种轻量且直接的技巧，可隐式捕获帧间对应以实现多帧聚合。通过引入分组空间偏移，我们获得了广阔的有效感受野。结合基础2D卷积，这一简单框架能有效聚合帧间信息。大量实验表明，在视频去模糊与视频去噪任务上，我们的框架以不到先前最优方法四分之一的计算成本优于后者。这些结果表明，我们的方法在保持高质量结果的同时显著减少计算开销的潜力。代码见 https://github.com/dasongli1/Shift-Net。
引用
@article{arxiv.2206.10810,
title = {A Simple Baseline for Video Restoration with Grouped Spatial-temporal Shift},
author = {Dasong Li and Xiaoyu Shi and Yi Zhang and Ka Chun Cheung and Simon See and Xiaogang Wang and Hongwei Qin and Hongsheng Li},
journal= {arXiv preprint arXiv:2206.10810},
year = {2023}
}
备注
Accepted to CVPR2023