基于双向缓冲的实时流式视频去噪
计算机视觉与模式识别
2022-07-15 v1
摘要
视频流被持续传输以节省存储与设备内存成本。用户设备通常采用实时去噪算法来去除视频流拍摄与传输过程中引入的噪声。然而，基于滑动窗口的方法为单帧输出输入多帧，缺乏计算效率。近期的多输出推理工作以并行或循环框架传播双向时间特征，前者在片段的时间边缘上性能下降，后者无法实现在线推理。本文中，我们提出一种双向流式视频去噪（BSVD）框架，利用过去与未来的时间感受野实现流式视频的高保真实时去噪。在线推理的双向时间融合在 MoViNet 中被认为不可行。但我们引入了新颖的双向缓冲块作为 BSVD 的核心模块，使其在我们的流水线式推理中成为可能。此外，我们的方法简洁灵活，可用于非盲与盲视频去噪。我们在合成与真实噪声上与多种最先进（state-of-the-art）视频去噪模型进行了定性与定量比较。我们的方法在复原保真度与运行时间上均优于先前方法。我们的源代码公开于 https://github.com/ChenyangQiQi/BSVD
引用
@article{arxiv.2207.06937,
title = {Real-time Streaming Video Denoising with Bidirectional Buffers},
author = {Chenyang Qi and Junming Chen and Xin Yang and Qifeng Chen},
journal= {arXiv preprint arXiv:2207.06937},
year = {2022}
}
备注
Accepted to ACM MM 2022; Github link: https://github.com/ChenyangQiQi/BSVD ;